Я. Гудфеллоу, И. Бенджио, А. Курвилль

394 

 
Приложения
але совместно с нейронной языковой моделью. Обучать иерархию трудно. Точная 
оптимизация логарифмического правдоподобия представляется невозможной, пото-
му что выбор иерархии слов – дискретная задача, к которой градиентная оптимиза-
ция неприменима. Однако можно воспользоваться дискретной оптимизацией, чтобы 
приблизительно аппроксимировать разбиение слов по классам.
Рис. 12.4 

Иллюстрация простой иерархии категорий слов на примере 
8 слов 
w
0
, …, 
w
7
, организованных в трехуровневую иерархию. В листьях де-
рева находятся сами слова. Внутренние узлы представляют группы слов. 
Каждый узел можно индексировать последовательностью бинарных реше-
ний (0 = влево, 1 = вправо), описывающих путь от корня к этому узлу. Супер-
класс (0) содержит два класса: (0, 0) и (0, 1), содержащих соответственно 
множества слов 
{
w
0
, 
w
1
}
и 
{
w
2
, 
w
3
}
. Аналогично суперкласс (1) содержит два 
класса: (1, 0) и (1, 1), содержащих соответственно множества слов 
{
w
4
, 
w
5
}
и 
{
w
6
, 
w
7
}
. Если дерево достаточно сбалансировано, то максимальная глу-
бина (число бинарных решений) по порядку величины равна логарифму 
числа слов |
𝕍
|: для выбора одного из |
𝕍
| слов нужно произвести 
O
(log
|
𝕍
|
)
операций (по одной для каждого узла на пути от корня). В этом примере 
для вычисления вероятности слова 
y
нужно перемножить три вероятности, 
ассоциированные с бинарными решениями, принимаемыми в каждом узле 
на пути от корня к узлу 
y
. Обозначим 
b
i
(
y
)
– 
i
-е бинарное решение, прини-
маемое в процессе обхода дерева на пути к значению 
y
. Тогда вероятность 
выборки выхода 
y
разлагается в произведение условных вероятностей. На-
пример, вероятность 
w
4
можно представить в виде произведения следую-
щим образом:
P
(y = 
w
4
) = 
P
(b
0
= 1, b
1
= 0, b
2
= 0) 
(12.11)
= 
P
(b
0
= 1)
P
(b
1
= 0 | b
0
= 1)
P
(b
2
= 0 | b
0
= 1, b
1
= 0). 
(12.12)

---

Обработка естественных языков 

395
Важное преимущество иерархического вычисления softmax – тот факт, что вычис-
лительный выигрыш достигается как на этапе обучения, так и на этапе тестирования, 
если во время тестирования мы захотим вычислить вероятности конкретных слов.
Разумеется, вычисление вероятностей всех |
𝕍
| слов по-прежнему обходится дорого, 
даже при иерархическом подходе. Еще одна важная операция – выбор самого вероят-
ного слова в данном контексте. К сожалению, древовидная структура не дает эффек-
тивного и точного решения этой задачи.
Недостаток состоит в том, что на практике иерархическое вычисление softmax час-
то дает при тестировании худшие результаты, чем выборочные методы, описанные 
ниже. Это может быть связано с неудачным выбором классов слов.