Я. Гудфеллоу, И. Бенджио, А. Курвилль

158 

 
Глубокие сети прямого распространения 
модели. Давайте вернемся к проектным соображениям, уделив особое внимание слу-
чаю нейронных сетей.
6.2.1. Функции стоимости
Важный аспект проектирования глубокой нейронной сети – выбор функции стоимо-
сти. По счастью, функции стоимости для нейронных сетей мало отличаются от при-
меняемых в других параметрических моделях, в т. ч. линейных.
В большинстве случаев параметрическая модель определяет распределение 
p
(
y
| 
x
; 
θ
), и мы должны просто воспользоваться принципом максимального правдо-
подобия. Это означает, что в роли функции стоимости выступает перекрестная энтро-
пия между обучающими данными и предсказаниями модели.
Иногда принимается более простой подход: вместо предсказания полного распре-
деления вероятности 
y
мы предсказываем какую-то статистику 
y
при условии 
x
. Спе-
циализированные функции потерь позволяют обучать предиктор таких оценок.
Полная функция стоимости, применяемая при обучении нейронной сети, часто 
является комбинацией одной из основных функций стоимости, описанных ниже, 
с регуляризирующим членом. Мы уже встречались с простыми примерами регуля-
ризации в применении к линейным моделям в разделе 5.2.2. Снижение весов, исполь-
зуемое в линейных моделях, безо всяких изменений применимо и к глубоким нейрон-
ным сетям и является одной из самых популярных стратегий регуляризации. Более 
сложные стратегии регуляризации нейронных сетей описаны в главе 7.
6.2.1.1. Обучение условных распределений с помощью 
максимального правдоподобия
Большинство современных нейронных сетей обучается с помощью максимального 
правдоподобия. Это означает, что в качестве функции стоимости берется отрица-
тельное логарифмическое правдоподобие, которое можно эквивалентно описать как 
перекрестную энтропию между обучающими данными и распределением модели. Эта 
функция задается формулой
J
(