Я. Гудфеллоу, И. Бенджио, А. Курвилль

H
матрицей
(8.35)
где 
μ
– вектор средних всех блоков, а 
σ
– вектор стандартных отклонений всех блоков. 
Приведенная выше формула выражает применение векторов 
μ
и 
σ
к каждой строке 
матрицы 
H
. Внутри каждой строки операция применяется поэлементно, т. е. для нор-
мировки 
H
i
; 
j
нужно вычесть 
μ
j
и разделить на 
σ
j
. Остальная сеть работает с 
H
′
точно 
так же, как исходная работала с 
H
.
На этапе обучения
(8.36)
и
(8.37)
где 
δ
– небольшое положительное число, например 10
–8
, введенное, чтобы избежать 
неопределенного градиента 
√
_
z
в точке 
z
= 0. И важнейший момент – 
мы выполняем об-
ратное распространение сквозь эти операции
, чтобы вычислить среднее и стандарт-
ное отклонения и применить их к нормировке 
H
. Это означает, что градиент никогда 
не предлагает операцию, действие которой сводится просто к увеличению стандарт-
ного отклонения или среднего 
h
i
; операции нормировки устраняют результат такого 
действия и обнуляют его компоненту в градиенте. Это и было главным нововведени-
ем пакетной нормировки. В прежних подходах к функции стоимости прибавлялись 
штрафы, направленные на то, чтобы блоки имели нормированные статистики акти-
вации, или после каждого шага градиентного спуска производилось вмешательство 
с целью перенормировать статистики блока. Первый подход обычно приводил к неи-
деальной нормировке, а последний – к значительным затратам времени впустую, по-
тому что алгоритм обучения раз за разом предлагает изменить среднее и дисперсию, 
а на шаге нормировки это изменение отменяется. Пакетная нормировка перепараме-
тризует модель, так что некоторые блоки всегда стандартизованы по определению, 
и тем самым ловко обходит обе проблемы.

---