Я. Гудфеллоу, И. Бенджио, А. Курвилль



Download 14,23 Mb.
Pdf ko'rish
bet476/779
Sana14.06.2022
Hajmi14,23 Mb.
#671946
TuriКнига
1   ...   472   473   474   475   476   477   478   479   ...   779
Bog'liq
Гудфеллоу Я , Бенджио И , Курвилль А Глубокое обучение

388 

 
Приложения
12.4. Обработка естественных языков
Под 
обработкой естественных языков
(ОЕЯ, англ. NLP) понимается использование 
таких языков, как английский или русский, компьютером. Компьютерные програм-
мы обычно читают и порождают тексты на искусственных языках, спроектированных 
с целью обеспечить эффективный и однозначный грамматический разбор. Естествен-
ные языки зачастую неоднозначны и не поддаются формальному описанию. К сфере 
обработки естественных языков относятся такие приложения, как машинный пере-
вод, когда обучаемая система читает предложение на одном языке и порождает экви-
валентное ему на другом языке. Многие приложения ОЕЯ основаны на языковых мо-
делях, в которых определено распределение вероятности последовательностей слов, 
символов и байтов в естественном языке.
Как и в случае других обсуждаемых в этой главе приложений, весьма общие ней-
росетевые методы можно с успехом применить и к обработке естественных языков. 
Но для достижения высокого качества и масштабируемости важны предметно-ори-
ентированные стратегии. Для построения эффективной модели естественного языка 
обычно используются методы, специализированные для обработки последователь-
ных данных. Во многих случаях мы предпочитаем рассматривать естественный язык 
как последовательность слов, а не отдельных символов или байтов. Поскольку число 
слов велико, словесные модели языка должны работать в разреженных дискретных 
пространствах очень высокой размерности. Разработано несколько стратегий обеспе-
чения вычислительной и статистической эффективности таких моделей.
12.4.1. 
n
-граммы
В 
языковой модели
определено распределение вероятности последовательностей 
лексем естественного языка. В зависимости от вида модели лексемой может быть 
слово, символ или даже байт. Лексемы всегда дискретны. В самых ранних успешных 
языковых моделях использовались последовательности лексем фиксированной дли-
ны, называемые 
n
-граммами.
В моделях на основе 
n
-грамм определена условная вероятность 
n
-ой лексемы при 
условии предыдущих 
n
– 1 лексем. Произведения этих условных вероятностей опре-
деляют распределение вероятности более длинных последовательностей:
(12.5)
Это разложение – не что иное, как цепное правило вероятностей. Распределение 
вероятности начальной последовательности 
P
(
x
1
, …, 
x
n
–1
) можно смоделировать с по-
мощью другой модели с меньшим значением 
n
.
Обучение 
n
-граммных моделей не вызывает трудностей, потому что оценку мак-
симального правдоподобия можно вычислить, просто подсчитав, сколько раз каждая 
возможная 
n
-грамма встречается в обучающем наборе. Модели на основе 
n
-грамм 
были основным компонентом статистического моделирования языков в течение мно-
гих десятилетий (Jelinek and Mercer, 1980; Katz, 1987; Chen and Goodman, 1999).
Для небольших значений 
n
у 
n
-грамм даже есть специальные названия: 

Download 14,23 Mb.

Do'stlaringiz bilan baham:
1   ...   472   473   474   475   476   477   478   479   ...   779




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©hozir.org 2024
ma'muriyatiga murojaat qiling

kiriting | ro'yxatdan o'tish
    Bosh sahifa
юртда тантана
Боғда битган
Бугун юртда
Эшитганлар жилманглар
Эшитмадим деманглар
битган бодомлар
Yangiariq tumani
qitish marakazi
Raqamli texnologiyalar
ilishida muhokamadan
tasdiqqa tavsiya
tavsiya etilgan
iqtisodiyot kafedrasi
steiermarkischen landesregierung
asarlaringizni yuboring
o'zingizning asarlaringizni
Iltimos faqat
faqat o'zingizning
steierm rkischen
landesregierung fachabteilung
rkischen landesregierung
hamshira loyihasi
loyihasi mavsum
faolyatining oqibatlari
asosiy adabiyotlar
fakulteti ahborot
ahborot havfsizligi
havfsizligi kafedrasi
fanidan bo’yicha
fakulteti iqtisodiyot
boshqaruv fakulteti
chiqarishda boshqaruv
ishlab chiqarishda
iqtisodiyot fakultet
multiservis tarmoqlari
fanidan asosiy
Uzbek fanidan
mavzulari potok
asosidagi multiservis
'aliyyil a'ziym
billahil 'aliyyil
illaa billahil
quvvata illaa
falah' deganida
Kompyuter savodxonligi
bo’yicha mustaqil
'alal falah'
Hayya 'alal
'alas soloh
Hayya 'alas
mavsum boyicha


yuklab olish