Я. Гудфеллоу, И. Бенджио, А. Курвилль

W
и смещениями 
b
, то выходной слой с аффинным преобразованием и функ-
цией softmax выполняет следующие вычисления:
; 
(12.8)
(12.9)
Если 
h
содержит 
n
h
элементов, то сложность этой операции равна 
O
(|
𝕍
|
n
h
). Когда 
n
h
порядка тысячи, а |
𝕍
| порядка сотен тысяч, на эту операцию приходится основное 
время вычислений в большинстве моделей на основе нейронных сетей.
12.4.3.1. Использование короткого списка
В первых нейронных языковых моделях (Bengio et al., 2001, 2003) проблема высо-
кой стоимости использования softmax при большом числе выходных слов решалась 
ограничением размера словаря 10–20 тысячами слов. В работах Schwenk and Gauvain 
(2002) и Schwenk (2007) этот подход подвергся дальнейшему развитию: словарь 
𝕍
был разделен на 
короткий список
𝕃
самых частых слов (обрабатываемый нейронной 
сетью) и хвост 
𝕋
= 
𝕍
\
𝕃
более редких слов (обрабатываемый 
n
-граммной моделью). 
Чтобы оба предсказания можно было объединить, нейронная сеть должна также пред-
сказывать вероятность, что слово, следующее за контекстом 
C
, принадлежит хвос-
товому списку. Для этого можно добавить дополнительный сигмоидный выходной 
блок, дающий оценку 
P
(
i
∈
𝕋
| 
C
). Тогда дополнительный выход можно использовать 
для получения оценки распределения вероятности всех слов из 
𝕍
:
P
(
y
= 
i
| 
C
) = 1
i
∈𝕃
P
(
y
= 
i
| 
C
, 
i
∈
𝕃
)(1 – 
P
(
i
∈
𝕋
| 
C
))
+ 1
i
∈𝕋
P
(
y
= 
i
| 
C
, 
i
∈
𝕋
)
P
(
i
∈
𝕋
| 
C
), 
(12.10)
где 
P
(
y
= 
i
| 
C
, 
i
∈
𝕃
) порождается нейронной языковой моделью, а 
P
(
y
= 
i
| 
C
, 
i
∈
𝕋
) – 
n
-граммной моделью. После небольшой модификации этот подход будет работать, 
если ввести дополнительное выходное значение в softmax-слой нейронной языковой 
модели, а не заводить отдельный сигмоидный блок.
Очевидный недостаток короткого списка состоит в том, что потенциальный вы-
игрыш от обобщаемости нейронных языковых моделей ограничен самыми часто 
встречающимися словами, а они-то как раз наименее полезны. Этот недостаток сти-
мулировал интерес к описанным ниже альтернативным методам работы с многомер-
ным выходным слоем.