Я. Гудфеллоу, И. Бенджио, А. Курвилль

12.4.3.3. Выборка по значимости
Ускорить обучение нейронных языковых моделей можно, в частности, избежав явно-
го вычисления вклада в градиент от всех слов, которые не встречаются в следующей 
позиции. У любого недопустимого слова должна быть низкая вероятность в модели. 
Перечисление всех таких слов стоит дорого. Но можно вместо этого выбрать лишь их 
подмножество. В обозначениях из формулы (12.8) градиент можно записать в сле-
дующем виде:
(12.13)
(12.14)
(12.15)
(12.16)
где 
a
– вектор активаций до применения softmax (оценок), по одному элементу на 
каждое слово. Первый член – 
положительная фаза
, толкающая 
a
y
вверх, второй 
член – 
отрицательная фаза
, толкающая 
a
i
вниз с весом 
P
(
i
| 
C
) для всех 
i
. Поскольку 
отрицательная фаза – это математическое ожидание, то оценить ее можно по выборке 
Монте-Карло. Однако для этого потребовалось бы производить выборку из самой 
модели. Выборка из модели подразумевает вычисление 
P
(
i
| 
C
) для всех 
i
в словаре, 
а это как раз то, чего мы хотим избежать.
Вместо выборки из модели мы можем произвести выборку из другого распреде-
ления, которое называется вспомогательным распределением (proposal distribution) 
и обозначается 
q
, и использовать подходящие веса для корректировки смещения 
вследствие выборки не из того распределения (Bengio and Se

ne

cal, 2003; Bengio and 
Se

ne

cal, 2008). Это пример применения более общей техники, называемой 
выборкой 
по значимости
, подробно она будет описана в разделе 17.2. К сожалению, даже точная 
выборка по значимости не эффективна, потому что требуется вычисление весов 
p
i
/
q
i
, 
где 
p
i
= 
P
(
i
| 
C
), а их можно вычислить, только если вычислены все веса 
a
i
. Специально 
для данного приложения предложено решение, называемое