Я. Гудфеллоу, И. Бенджио, А. Курвилль

z
)
⏉
z
. Пожалуй, было бы правильнее вместо softmax использовать «soft-
argmax», но принятое название уже прочно укоренилось.
6.2.2.4. Другие типы выходных блоков
Описанные выше выходные блоки – линейные, сигмоидные и softmax – применяют-
ся наиболее часто. Но нейронные сети обобщаются практически на любой желаемый 
выходной слой. Принцип максимального правдоподобия подсказывает, как спроек-
тировать хорошую функцию стоимости.
В общем случае, если определено условное распределение 
p
(
y
| 
x
; 
θ
), то согласно 
принципу максимального правдоподобия следует использовать в качестве функции 
стоимости –log 
p
(
y
| 
x
; 
θ
).
Вообще говоря, можно считать, что нейронная сеть представляет функцию 
f
(
x
; 
θ
). 
Но значения этой функции не являются прямыми предсказаниями значения 
y
, вмес-
то этого 
f
(
x
; 
θ
) = 
ω
дает параметры распределения 
y
. Тогда нашу функцию потерь 
можно интерпретировать как –log 
p
(
y
; 
ω
(
x
)).
Например, пусть требуется обучить дисперсию условного нормального распреде-
ления 
y
при известном 
x
. В простом случае, когда дисперсия 
σ
2
постоянна, ее мож-
но выразить в замкнутой форме, потому что оценка максимального правдоподобия 
дисперсии – это не что иное, как эмпирическое среднее квадратов разностей между 
наблю дениями и ожидаемыми значениями 
y
. Вычислительно более дорогой подход, не 
требующий обработки частного случая, состоит в том, чтобы включить дисперсию как 
одно из свойств распределения 
p
(