Я. Гудфеллоу, И. Бенджио, А. Курвилль

униграмма
для 
n
= 1, 
биграмма
для 
n
= 2 и 
триграмма
для 
n
= 3. Эти названия образуются из ла-
тинского префикса числительного и греческого суффикса «грамма», обозначающего 
нечто написанное.

---

Обработка естественных языков 

389
Обычно модели 
n
-грамм и (
n
–1)-грамм обучаются одновременно. Это упрощает 
вычисление
(12.6)
– нужно лишь найти две сохраненные вероятности. Чтобы точно воспроизвести вы-
вод в модели 
P
n
, мы должны опустить последний символ каждой последовательности 
при обучении 
P
n
–1
.
В качестве примера продемонстрируем, как триграммная модель вычисляет ве-
роятность предложения 
«THE
DOG
RAN
AWAY»
(собака убежала). Первые слова предло-
жения нельзя обработать с помощью формулы по умолчанию, основанной на услов-
ной вероятности, потому что в начале предложения еще нет никакого контекста. 
Поэтому вначале используются безусловные вероятности слов. Таким образом, мы 
вычисляем 
P
3
(
THE
DOG
RAN
). Последнее же слово можно предсказать стандартно, вос-
пользовавшись условным распределением 
P
(
AWAY
|
DOG
RAN
). Подстановка в формулу 
(12.6) дает:
P
(
THE
DOG
RAN
AWAY
) = 
P
3
(
THE
DOG
RAN
)
P
3
(
DOG
RAN
AWAY
)/
P
2
(
DOG
RAN
). 
(12.7)
Фундаментальное ограничение максимального правдоподобия в 
n
-граммных мо-
делях состоит в том, что оценка 
P
n
по счетчикам в обучающем наборе во многих слу-
чаях близка к нулю, несмотря даже на то, что кортеж (
x
t
–
n
+1
, …, 
x
t
) может встречать-
ся в тестовом наборе. Это может привести к катастрофическим последствиям двух 
видов. Если 
P
n
–1
равно нулю, то отношение не определено, поэтому модель вообще 
не дает разумного ответа. Если же 
P
n
–1
не равно нулю, но 
P
n
равно нулю, то логариф-
мическая вероятность равна –
∞
. Чтобы избежать таких неприятностей, в большин-
стве 
n
-граммных моделей используется та или иная форма 
сглаживания
. Смысл 
этого приема состоит в том, чтобы сдвинуть массу вероятности от наблюдавшихся 
кортежей к ненаблюдавшимся, но похожим. Обзор и эмпирические сравнения см. 
в работе See Chen and Goodman (1999). Одна из основных техник – прибавить не-
нулевую массу вероятности ко всем возможным значениям символов. Этот метод 
можно обосновать как байесовский вывод, в котором априорное распределение счет-
чиков равномерно или является распределением Дирихле. Еще одна очень популяр-
ная идея – образовать смесовую модель из 
n
-граммных моделей высокого и низкого 
порядков, где модели высокого порядка обеспечивают бо

льшую емкость, а модели 
низкого порядка с большей вероятностью избегают нулевых счетчиков.