Я. Гудфеллоу, И. Бенджио, А. Курвилль

169
В общем случае мы можем захотеть продолжить моделирование векторов 
y
, со-
держащих все больше переменных, и налагать на эти переменные все более сложную 
структуру. Например, если мы хотим, чтобы нейронная сеть выводила последователь-
ность символов, образующих предложение, то можем и дальше применять принцип 
максимального правдоподобия к нашей модели 
p
(
y
; 
ω
(
x
)). В этом случае модель, ис-
пользуемая для описания 
y
, становится слишком сложной для рассмотрения в этой 
главе. В главе 10 мы опишем, как использовать рекуррентные нейронные сети для 
описания таких моделей последовательностей, а в части III опишем передовые мето-
ды моделирования произвольных распределений вероятности.
6.3. Скрытые блоки
До сих пор мы ограничивались обсуждением проектных решений при построении 
нейронных сетей, типичных для большинства параметрической моделей машинного 
обучения, обучаемых методами градиентной оптимизации. Теперь займемся пробле-
мой, возникающей только в нейронных сетях прямого распространения: как выбрать 
тип блока в скрытых слоях модели.
Проектирование скрытых блоков – чрезвычайно активная область исследований, 
в которой не так уж много руководящих теоретических принципов.
Блоки линейной ректификации – отличный выбор для скрытых блоков в отсут-
ствие дополнительных аргументов. Но есть и много других типов. Бывает трудно 
решить, какой тип взять в конкретном случае (хотя обычно блоки линейной ректи-
фикации дают приемлемый результат). Мы опишем кое-какие интуитивные сооб-
ражения, стоящие за выбором типа скрытого блока. Они помогут принять решение, 
но заранее предсказать, какой тип окажется оптимальным, как правило, невозможно. 
Процесс проектирования – это последовательность проб и ошибок, когда высказы-
вается гипотеза о подходящем блоке, затем обучается сеть с таким типом скрытых 
блоков и результат оценивается на контрольном наборе.
Некоторые скрытые блоки, включенные в список, не являются всюду дифферен-
цируемыми. Например, функция линейной ректификации 
g
(
z
) = max{0, 
z
} не диффе-
ренцируема в точке 
z
= 0. Может показаться, что из-за этого 
g
непригодна для работы 
с алгоритмом обучения градиентными методами. Но на практике градиентный спуск 
работает для таких моделей машинного обучения достаточно хорошо. Отчасти это свя-
зано с тем, что алгоритмы обучения нейронных сетей обычно не достигают локального 
минимума функции стоимости, а просто находят достаточно малое значение, как пока-
зано на рис. 4.3 (эти идеи найдут дальнейшее развитие в главе 8). Поскольку мы не ожи-
даем, что обучение выйдет на точку, где градиент равен 0, то можно смириться с тем, что 
минимум функции стоимости соответствует точкам, в которых градиент не определен. 
Недифференцируемые скрытые блоки обычно не дифференцируемы лишь в немногих 
точках. В общем случае функция 
g
(
z
) имеет производную слева, определяемую коэф-
фициентом наклона функции слева от 
z
, и аналогично производную справа. Функция 
дифференцируема в точке 
z
, только если производные слева и справа определены и рав-
ны между собой. Для функций, встречающихся в контексте нейронных сетей, обычно 
определены производные слева и справа. Для функции 
g
(
z
) = max{0, 
z
} производная 
слева в точке 
z
= 0 равна 0, а производная справа – 1. В программных реализациях 
обучения нейронной сети обычно возвращается какая-то односторонняя производная, 
а не сообщается, что производная не определена и не возбуждается исключение. Эври-

---