Я. Гудфеллоу, И. Бенджио, А. Курвилль

g
= 
∇
w
y
�
. Посмотрим, 
что произой дет, когда мы произведем обновление 
w
←
w
– 
ε
g
. Разложение 
y
�
 
в ряд Тей-
лора до членов первого порядка предсказывает, что значение 
y
�
уменьшится на 
ε
g
⏉
g
. 
Если бы мы хотели уменьшить 
y
�
на 0.1, то, исходя из этой информации первого по-
рядка, содержащейся в градиенте, могли бы установить скорость обучения 
ε
равной
0.1/(
g
⏉
g
). Однако фактическое обновление будет включать также эффекты второго, 
третьего, …, 
l
-го порядка. Новое значение 
y
�
равно:
x
(
w
1
– 
ε
g
1
)(
w
2
– 
ε
g
2
)…(
w
l
– 
ε
g
l
). 
(8.34)
Пример члена второго порядка, возникающего при таком обновлении, – 
ε
2
g
1
g
2
∏
l
i
=3
w
i
. 
Этот член может быть пренебрежимо мал, если произведение 
∏
l
i
=3
w
i
мало, а может 
быть экспоненциально велик, если веса в слоях с 3 по 
l
больше 1. Поэтому очень трудно 
выбрать правильную скорость обучения, т. к. эффект обновления параметров одного 
слоя сильно зависит от всех остальных слоев. Алгоритмы оптимизации второго по-

---

Стратегии оптимизации и метаалгоритмы 

273
рядка решают эту проблему, учитывая при вычислении обновления взаимодействия 
второго порядка, но, как мы видим, в очень глубоких сетях даже взаимодействия бо-
лее высокого порядка могут быть существенными. Но уж если оптимизация второ-
го порядка обходится дорого и обычно требует многочисленных аппроксимаций, не 
позволяющих точно учесть значимых взаимодействий второго порядка, то попытка 
построения алгоритма оптимизации 
n
-го порядка при 
n
> 2 выглядит совершенно 
безнадежной. Что же предпринять вместо этого?
Пакетная нормировка предлагает элегантный способ перепараметризации почти 
любой глубокой сети. Перепараметризация значительно снижает остроту проблемы 
координации обновлений между многими слоями. Пакетную нормировку можно 
применить к входному и любому скрытому слою сети. Пусть 
H
– мини-пакет актива-
ций нормируемого слоя, представленный в виде матрицы плана, так что активации 
для каждого примера занимают одну строку матрицы. Для нормировки заменим