Я. Гудфеллоу, И. Бенджио, А. Курвилль


Нейронный машинный перевод



Download 14,23 Mb.
Pdf ko'rish
bet488/779
Sana14.06.2022
Hajmi14,23 Mb.
#671946
TuriКнига
1   ...   484   485   486   487   488   489   490   491   ...   779
Bog'liq
Гудфеллоу Я , Бенджио И , Курвилль А Глубокое обучение

12.4.5. Нейронный машинный перевод
Задача машинного перевода состоит в чтении предложения на одном естественном 
языке и выводе предложения с эквивалентным смыслом на другом языке. Системы 
машинного перевода обычно состоят из многих компонент. На верхнем уровне име-


398 

 
Приложения
ется один компонент, который предлагает большое число потенциальных переводов. 
Многие переводы грамматически некорректны из-за различий между языками. На-
пример, в некоторых языках прилагательные ставятся после существительных, так 
что при переводе на английский получаются фразы типа «apple red». Механизм пред-
ложений рекомендует много вариантов перевода, и в идеале среди них будет и «red 
apple». Второй компонент системы перевода, языковая модель, оценивает предло-
женные переводы и может поставить варианту «red apple» более высокую оценку, чем 
варианту «apple red».
Уже в самых первых исследованиях применения нейронных сетей к машинно-
му переводу встречалась идея кодировщика и декодера (Allen 1987; Chrisman 1991; 
Forcada and 
Ñ
eco 1997), а первым крупным коммерческим приложением в этой 
области стал переход на нейронную языковую модель в одной системе перевода 
(Schwenk et al., 2006; Schwenk, 2010). Ранее в большинстве систем машинного пере-
вода для этой цели применялась 
n
-граммная модель. В машинном переводе исполь-
зуются не только традиционные возвратные 
n
-граммные модели (Jelinek and Mercer, 
1980; Katz, 1987; Chen and Goodman, 1999), но также 
языковые модели максималь-
ной энтропии
(Berger et al., 1996), в которых слой с аффинным преобразованием 
и функцией softmax предсказывает следующее слово при наличии частых 
n
-грамм 
в контексте.
Традиционные языковые модели просто возвращают вероятность предложения 
естественного языка. Поскольку задача машинного перевода – породить выходное 
предложение по известному входному, имеет смысл обобщить модель естественного 
языка, сделав ее условной. В разделе 6.2.1.1 был описан прямолинейный способ обоб-
щения модели, определяющей маргинальное распределение некоторой переменной 
таким образом, чтобы она определяла условное распределение той же переменной 
при заданном контексте 
C
, где 
C
может быть одной переменной или списком пере-
менных. В работе Devlin et al. (2014) превзойдено лучшее достижение на некоторых 
эталонных тестах для машинного перевода; для этого авторы использовали МСП, ко-
торый оценивал фразу t
1
, t
2
, …, t
k
на целевом языке, зная фразу s
1
, s
2
, …, s
n
на исходном 
языке. МСП вычисляет оценку в виде вероятности 
P
(
t
1

t
2
, …, 
t
k

s
1

s
2
, …, 
s
n
). Оцен-
ка, вычисленная этим МСП, используется вместо оценки, предложенной условной 
n
-граммной моделью.
Недостаток подхода на основе МСП состоит в том, что последовательности нуж-
но предварительно обработать, так чтобы их длина была фиксирована. Для повыше-
ния гибкости перевода хотелось бы иметь модель, которая подстраивается под вхо-
ды и выходы переменной длины. Такую возможность дает рекуррентная нейронная 
сеть. В разделе 10.2.4 описано несколько способов построения РНС, представляющей 
условное распределение последовательности при условии входа, а в разделе 10.4 – 
как реализовать такое обусловливание, когда входом является последовательность. 
В любом случае сначала одна модель читает входную последовательность и порожда-
ет структуру данных, содержащую ее сводку. Эта сводка называется «контекстом» 
C

Контекст может быть списком векторов, вектором или тензором. Модель, которая чи-
тает вход и порождает 
C
, может представлять собой РНС (Cho et al., 2014a; Sutskever 
et al., 2014; Jean et al., 2014) или сверточную сеть (Kalchbrenner and Blunsom, 2013). 
Затем вторая модель, обычно РНС, читает контекст 
C
и порождает предложение на 
целевом языке. Эта общая идея кодировщика-декодера для машинного перевода по-
казана на рис. 12.5.


Обработка естественных языков 

399
Кодировщик
Выходной объект
(предложение на английском языке)
Промежуточное
семантическое представление
Исходный объект (предложение
на французском языке или изображение)
Декодер

Download 14,23 Mb.

Do'stlaringiz bilan baham:
1   ...   484   485   486   487   488   489   490   491   ...   779




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©hozir.org 2024
ma'muriyatiga murojaat qiling

kiriting | ro'yxatdan o'tish
    Bosh sahifa
юртда тантана
Боғда битган
Бугун юртда
Эшитганлар жилманглар
Эшитмадим деманглар
битган бодомлар
Yangiariq tumani
qitish marakazi
Raqamli texnologiyalar
ilishida muhokamadan
tasdiqqa tavsiya
tavsiya etilgan
iqtisodiyot kafedrasi
steiermarkischen landesregierung
asarlaringizni yuboring
o'zingizning asarlaringizni
Iltimos faqat
faqat o'zingizning
steierm rkischen
landesregierung fachabteilung
rkischen landesregierung
hamshira loyihasi
loyihasi mavsum
faolyatining oqibatlari
asosiy adabiyotlar
fakulteti ahborot
ahborot havfsizligi
havfsizligi kafedrasi
fanidan bo’yicha
fakulteti iqtisodiyot
boshqaruv fakulteti
chiqarishda boshqaruv
ishlab chiqarishda
iqtisodiyot fakultet
multiservis tarmoqlari
fanidan asosiy
Uzbek fanidan
mavzulari potok
asosidagi multiservis
'aliyyil a'ziym
billahil 'aliyyil
illaa billahil
quvvata illaa
falah' deganida
Kompyuter savodxonligi
bo’yicha mustaqil
'alal falah'
Hayya 'alal
'alas soloh
Hayya 'alas
mavsum boyicha


yuklab olish