Я. Гудфеллоу, И. Бенджио, А. Курвилль

w
⏉
h
+ 
b
), 
(6.19)
где 
σ
– логистическая сигмоида, описанная в разделе 3.10.
Можно считать, что сигмоидный выходной блок состоит из двух компонентов. Во-
первых, в нем есть линейный слой, вычисляющий 
z
= 
w
⏉
h
+ 
b
, а во-вторых, сигмоид-
ная функция активации, преобразующая 
z
в вероятность.

---

162 

 
Глубокие сети прямого распространения 
На время забудем о зависимости от 
x
и обсудим, как определить распределение 
вероятности 
y
, используя значение 
z
. Применение сигмоиды оправдывается возмож-
ностью получить ненормированное распределение вероятности 
P
~(
y
), сумма которого 
не равна 1. Затем мы делим на подходящую константу, чтобы получить правильное 
распределение вероятности. Если начать с предположения, что логарифм ненорми-
рованных вероятностей линейно зависит от 
y
и 
z
, то можно выполнить потенцирова-
ние и получить сами ненормированные вероятности. После нормировки получается 
распределение Бернулли, управляемое сигмоидным преобразованием 
z
:
log
P
~(
y
) = 
yz
, 
(6.20)
P
~(
y
) = exp(
yz
), 
(6.21)
(6.22)
P
(
y
) = 
σ
((2
y
– 1)
z
). 
(6.23)
Распределения вероятности, основанные на потенцировании и нормировке, часто 
встречаются в литературе по статистическому моделированию. Переменная 
z
, опре-
деляющая такое распределение бинарных величин, называется 
логит
.
Этот подход к предсказанию вероятностей в логарифмическом пространстве есте-
ственно использовать в сочетании с обучением на основе максимального правдопо-
добия. Поскольку в этом случае используется функция стоимости –log 
P
(
y
| 
x
), вхо-
дящий в нее логарифм компенсирует экспоненту в сигмоиде. Не будь этого эффекта, 
насыщение сигмоиды могло бы помешать градиентному обучению. Функция потерь 
для обучения параметризованного сигмоидой распределения Бернулли методом 
максимального правдоподобия имеет вид:
J
(