Я. Гудфеллоу, И. Бенджио, А. Курвилль

Возвратные 
методы
ищут 
n
-граммы низкого порядка, если частота контекста 
x
t
–1
, …, 
x
t
–
n
+1
слишком 
мала для использования модели более высокого порядка. Точнее, они оценивают рас-
пределение 
x
t
с использованием контекстов 
x
t
–
n
+
k
, …, 
x
t
–1
для возрастающих 
k
, пока не 
будет найдена достаточно надежная оценка.
Классические 
n
-граммные модели особенно уязвимы к проклятию размерности. 
Существует |
𝕍
|
n
возможных 
n
-грамм, и |
𝕍
| зачастую очень велико. Даже при наличии 
массивного обучающего набора и умеренном 
n
большинство 
n
-грамм в обучающем 
наборе не встречается. Классическую 
n
-граммную модель можно рассматривать как 
поиск ближайшего соседа, т. е. как локальный непараметрический предиктор, похо-
жий на метод 
k
ближайших соседей. Статистические проблемы, присущие таким экст-
ремально локальным предикторам, описаны в разделе 5.11.2. Но в языковой модели 
проблема даже серьезнее, чем обычно, потому что два любых разных слова находятся 

---

390 

 
Приложения
на одинаковом расстоянии друг от друга в пространстве унитарных векторов. По-
этому трудно извлечь хоть какую-то информацию из «соседей» – лишь обучающие 
примеры, буквально повторяющие один и тот же контекст, полезны для локального 
обобщения. Для преодоления этих проблем модель языка должна уметь разделять 
знания между одним словом и другими семантически похожими словами.
Чтобы улучшить статистическую эффективность 
n
-граммных моделей, в