Я. Гудфеллоу, И. Бенджио, А. Курвилль

H
на 
γ
H
′
+ 
β
, 
а не просто на нормированную матрицу 
H
′
. Переменные 
γ
и 
β
– обученные парамет-
ры, благодаря которым новая величина может иметь произвольные среднее и стан-
дартное отклонения. На первый взгляд, это кажется бессмысленным – зачем было 
устанавливать среднее в 0, а потом вводить параметр, который позволяет снова пере-
установить его в произвольное значение 
β
? Да затем, что новая параметризация мо-
жет представить то же самое семейство функций от входных данных, что и старая, но 
при этом обладает другой динамикой обучения. В старой параметризации среднее 
H
определялось сложным взаимодействием между параметрами на уровнях ниже 
H
. 

---

Стратегии оптимизации и метаалгоритмы 

275
В новой же параметризации среднее 
γ
H
′
+ 
β
определяется только величиной 
β
. При 
новой параметризации модель гораздо легче обучить методом градиентного спуска.
Большинство слоев нейронных сетей имеет вид 
ϕ
(
XW
+ 
b
), где 
ϕ
– фиксированная 
нелинейная функция активации, например, преобразование линейной ректифика-
ции. Естественно спросить, следует ли применять пакетную нормировку ко входу 
X
или к уже преобразованному значению 
XW
+ 
b
. В работе Ioffe and Szegedy (2015) ре-
комендуется последнее. Точнее говоря, 
XW
+ 
b
следует заменить результатом норми-
ровки 
XW
. Член смещения нужно опустить, потому что он становится избыточным 
ввиду параметра 
β
, применяемого в ходе перепараметризации. Входом слоя обычно 
является выход нелинейной функции активации (например, функции линейной рек-
тификации) предыдущего слоя. Поэтому статистика входа сильнее отличается от 
нормального распределения и хуже поддается стандартизации посредством линей-
ных операций. В сверточных сетях (см. главу 9) важно применять одну и ту же норми-
ровку 
μ
и 
σ
в каждой точке пространства в карте признаков, чтобы статистика карты 
признаков оставалась одинаковой вне зависимости от положения в пространстве.