Я. Гудфеллоу, И. Бенджио, А. Курвилль

классо-
вые
языковые модели 
(Brown et al., 1992; Ney and Kneser, 1993; Niesler et al., 1998) 
введено понятие категории слова, и статистическая сила разделяется между словами 
из одной категории. Идея в том, чтобы применить алгоритм кластеризации для раз-
биения слов по кластерам, или классам, исходя из частоты совместной встречаемости 
с другими словами. После этого модель может использовать идентификаторы клас-
сов, а не идентификаторы отдельных слов для представления контекста справа от 
вертикальной черты в выражении условной вероятности. Возможны также состав-
ные модели, в которые словесные и классовые модели комбинируются путем сме-
шения или перебора с возвратом. Хотя классы слов допускают обобщение на после-
довательности, в которых одно слово заменено другим из того же класса, при таком 
представлении теряется много информации.
12.4.2. Нейронные языковые модели
Нейронные языковые модели
(НЯМ, англ. NLM) предназначены для преодоления 
проклятия размерности при моделировании последовательностей слов естествен-
ного языка посредством распределенного представления слов (Bengio et al., 2001). 
В отличие от классовых 
n
-граммных моделей, нейронные языковые модели способ-
ны понять, что два слова похожи, не жертвуя возможностью кодировать каждое сло-
во независимо от остальных. В нейронных языковых моделях статистическая сила 
разделяется между одним словом (и его контекстом) и другими похожими словами 
и контекстами. Распределенное представление, которому модель обучается для каж-
дого слова, обеспечивает такое разделение, позволяя модели обрабатывать слова с об-
щими признаками схожим образом. Например, если слова 
dog
(собака) и 
cat
(кошка) 
отображаются в представления, имеющие много общих атрибутов, то предложения, 
содержащие слово 
cat
, могут влиять на предсказания, которые модель дает для пред-
ложений со словом 
dog
, и наоборот. Поскольку таких атрибутов много, существует 
много способов обобщения, т. е. информация из каждого обучающего предложения 
переносится на экспоненциально большое число семантически родственных предло-
жений. Проклятие размерности требует, чтобы количество предложений, на которые 
обобщается модель, экспоненциально зависело от длины предложения. Модель про-
тивостоит проклятию, сопоставляя каждому обучающему предложению экспонен-
циально большое число похожих предложений.
Иногда такие представления слов называются