Я. Гудфеллоу, И. Бенджио, А. Курвилль

191
гих общих подвыражений. Такую стратегию заполнения таблицы иногда называют 
динамическим программированием
.
6.5.7. Пример: применение обратного распространения 
к обучению МСП
В качестве примера подробно проанализируем применение алгоритма обратного рас-
пространения к обучению многослойного перцептрона.
Мы разработаем очень простой многослойный перцептрон всего с одним скрытым 
слоем. Для обучения этой модели будем использовать метод стохастического гради-
ентного спуска с мини-пакетом. Алгоритм обратного распространения вычисляет 
градиент функции стоимости на одном мини-пакете. Точнее, мы используем мини-
пакет примеров из обучающего набора, представленного в виде матрицы плана 
X
и вектора ассоциированных меток класса 
y
. Сеть вычисляет слой скрытых признаков 
H
= max{0, 
XW
(1)
}. Для простоты в этой модели отсутствуют смещения. Мы предпо-
лагаем, что язык графов включает операцию 
relu
, которая поэлементно вычисляет 
max{0, 
Z
}. Затем выдаются предсказания в виде ненормированных логарифмов веро-
ятностей классов 
HW
(2)
. Мы предполагаем также, что язык графов включает опера-
цию 
cross_entropy
, вычисляющую перекрестную энтропию между метками 
y
и рас-
пределением вероятности, определяемым этими ненормированными логарифмами 
вероятностей. Результат вычисления перекрестной энтропии определяет стоимость 
J
MLE
. Минимизация перекрестной энтропии дает оценку максимального правдоподо-
бия классификатора. Но, чтобы сделать пример более реалистичным, мы включили 
еще член регуляризации. Общая стоимость равна
(6.56)
и состоит из перекрестной энтропии и члена снижения весов с коэффициентом 
λ
. 
Граф вычислений показан на рис. 6.11.
Граф вычислений градиента в этом примере настолько велик, что и рисовать, и чи-
тать его утомительно. Это наглядная демонстрация одного из преимуществ алгорит-
ма обратного распространения: он автоматически генерирует градиенты, ручной вы-
вод которых хотя и не представляет принципиальных трудностей, но требует много 
времени.
Мы можем составить приблизительное представление о поведении алгоритма об-
ратного распространения, взглянув на граф прямого распространения на рис. 6.11. 
Для обучения нам нужно вычислить 
∇