Я. Гудфеллоу, И. Бенджио, А. Курвилль

12.4.3. Многомерные выходы
Во многих приложениях для обработки естественных языков мы хотим, чтобы мо-
дель выводила слова, а не символы. Если словарь большой, то вычислительно очень 
трудно представить выходное распределение выбора слов. Часто словарь 
𝕍
насчи-
тывает сотни тысяч слов. Наивный подход к представлению такого распределения – 
выполнить аффинное преобразование скрытого представления на пространство 
выходов, а затем применить функцию softmax. Пусть имеется словарь 
𝕍
размера |
𝕍
|. 
Матрица весов, описывающая линейную составляющую такого аффинного преобра-
зования, очень велика, поскольку размерность результата составляет |
𝕍
|. Поэтому для 
ее хранения требуется много памяти, а умножение на нее займет много времени. По-
скольку softmax нормируется по всем |
𝕍
| выходам, придется выполнять полное умно-
жение на матрицу как на этапе обучения, так и на этапе тестирования – мы не можем 
ограничиться только вычислением скалярного произведения на вектор весов. Таким 

---

392 

 
Приложения
образом, вычислительная стоимость выходного слоя велика как во время обучения 
(нужно вычислять правдоподобие и его градиент), так и во время тестирования (нуж-
но вычислять вероятности всех или избранных слов). Для специальных функций по-
терь градиент можно вычислить эффективно (Vincent et al., 2015), но применение 
стандартной перекрестной энтропии к традиционному выходному слою с функцией 
softmax сталкивается с многочисленными трудностями.
Предположим, что 
h
– верхний скрытый слой, используемый для предсказания 
вероятностей выходов 
y
ˆ. Если параметризовать преобразование 
h
в 
y
ˆ обученными 
весами