Я. Гудфеллоу, И. Бенджио, А. Курвилль

y
| 
x
).
6.2.2. Выходные блоки
Выбор функции стоимости тесно связан с выбором выходного блока. Как правило, 
мы просто используем перекрестную энтропию между распределением данных и мо-
дельным распределением. Выбор представления выхода определяет форму функции 
перекрестной энтропии.
Любой блок нейронной сети, который можно использовать в качестве выходного, 
годится и на роль скрытого. Сейчас нас больше интересуют выходные блоки модели, 
но, в принципе, их можно использовать и во внутренних слоях. Мы еще вернемся 
к вопросу о скрытых блоках в разделе 6.3.
В этом разделе мы предполагаем, что сеть прямого распространения содержит мно-
жество скрытых признаков, описываемое функцией 
h
= 
f
(
x
; 
θ
). Тогда роль выходного 
слоя состоит в том, чтобы предоставить дополнительную информацию, почерпнутую 
из признаков, для решения задачи, стоящей перед сетью.
6.2.2.1. Линейные блоки для нормальных выходных распределений
Простой выходной блок основан на аффинном преобразовании без нелинейностей. 
Часто такие блоки называются просто линейными.
Если обозначить признаки 
h
, то слой линейных выходных блоков порождает век-
тор 
y
�
= 
W
⏉
h
+ 
b
.

---

Обучение градиентными методами 

161
Линейные выходные слои часто применяются для порождения среднего условного 
нормального распределения:
p
(
y
| 
x
) = 
𝒩
(
y
; 
y
�
, 
I
). 
(6.17)
Тогда максимизация логарифмического правдоподобия эквивалентна минимиза-
ции среднеквадратической ошибки.
Схема на основе максимального правдоподобия позволяет также упростить обуче-
ние ковариации нормального распределения или сделать ковариацию функцией вхо-
да. Однако на ковариационную матрицу необходимо наложить ограничение – она 
должна быть положительно определенной для всех входов. Удовлетворить такому 
ограничению с помощью линейного выходного слоя трудно, поэтому обычно для па-
раметризации ковариации используются другие выходные блоки. Подходы к моде-
лированию ковариации кратко описаны в разделе 6.2.2.4.
Поскольку линейные блоки не подвержены насыщению, они не представляют осо-
бых проблем для алгоритмов градиентной оптимизации и могут использоваться с са-
мыми разными алгоритмами оптимизации.