Я. Гудфеллоу, И. Бенджио, А. Курвилль

6.2.2.2. Сигмоидные блоки и выходное распределение Бернулли
Во многих задачах требуется предсказать значение бинарной величины 
y
. В таком 
виде можно представить задачу классификации с двумя классами.
Подход на основе максимального правдоподобия заключается в определении рас-
пределения Бернулли величины 
y
при условии 
x
.
У распределения Бернулли всего один числовой параметр. Нейронная сеть должна 
предсказать только 
P
(
y
= 1 | 
x
). Чтобы эта величина могла интерпретироваться как 
вероятность, она должна принадлежать отрезку [0, 1].
Для удовлетворения этого условия нужно тщательное проектирование. Допустим, 
что имеется линейный блок, и обрежем его сверху и снизу, чтобы получить допусти-
мое значение вероятности.
P
(
y
= 1 | 
x
) = max{0, min{1, 
w
⏉
h
+ 
b
}}. 
(6.18)
Эта формула действительно определяет корректное условное распределение, но 
эффективно обучить его методом градиентного спуска не получится. Всякий раз, 
как 
w
⏉
h
+ 
b
выходит за пределы единичного отрезка, градиент выхода модели от-
носительно ее параметров будет равен 
0
. Градиент 
0
обычно приводит к проблемам, 
потому что у алгоритма обучения нет никаких указаний на то, как улучшить пара-
метры.
Лучше применить другой подход, который гарантирует, что градиент обязательно 
будет достаточно большим, если модель дает неверный ответ. Этот подход основан 
на использовании сигмоидных выходных блоков в сочетании с максимальным прав-
доподобием.
Сигмоидный выходной блок определяется формулой
y
�
= 
σ
(