Я. Гудфеллоу, И. Бенджио, А. Курвилль

384 

 
Приложения
ГНК, 
λ
= 10
–2
Исходные данные
ГНК, 
λ
= 0
1.5
0.0
–1.5
–1.5
–1.5
–1.5
0.0
0.0
0.0
х
0
х
0
х
0
х
1
1.5
1.5
1.5
Рис. 12.1 

ГНК отображает примеры на сферу. (
Слева
) У исходных дан-
ных норма может быть любой. (
В центре
) ГНК с 
λ
 
= 0 отображает все не-
нулевые примеры на поверхность сферы. В данном случае 
s
= 1 и 
ε
= 10
–8
. 
Поскольку ГНК основана на стандартном отклонении, а не на норме 
L
2
, эта 
сфера не единичная. (
Справа
) Регуляризированная ГНК с 
λ
> 0 сдвигает 
примеры в сторону сферы, но не полностью устраняет дисперсию нормы. 
Значения 
s
и 
λ
те же, что и раньше
Поэтому нам нужна также 
локальная нормализация контрастности
. Она гаран-
тирует нормализацию контрастности в каждом небольшом окне, а не во всем изобра-
жении. На рис. 12.2 приведено сравнение глобальной и локальной нормализаций 
контрастности.
Исходное
изображение
Глобальная 
локализация
Локальная 
локализация
Рис. 12.2 

Сравнение глобальной и локальной нормализаций контраст-
ности. Визуально эффект глобальной нормализации почти не заметен. Все 
изображения приводятся примерно к одной шкале, чтобы не заставлять алго-
ритм обучения обрабатывать несколько шкал. Локальная нормализация конт-
растности изменяет изображение гораздо сильнее, отбрасывая все области 
постоянной яркости. В результате модель может сосредоточиться только на 
границах. Области с мелкой текстурой, например дома во втором ряду, могут 
утратить детали, если ширина ядра нормализации слишком велика
Локальную нормализацию контрастности можно определить по-разному. В любом 
случае модифицируется каждый пиксель: из него вычитается среднее близлежащих 

---

Распознавание речи 

385
пикселей, и результат делится на стандартное отклонение близлежащих пикселей. 
Иногда речь идет о настоящем среднем и стандартном отклонениях по прямоуголь-
ному окну с центром в модифицируемом пикселе (Pinto et al., 2008). А иногда берется 
взвешенное среднее и взвешенное стандартное отклонения с весами, имеющими нор-
мальное распределение с центром в модифицируемом пикселе. Для цветных изобра-
жений есть разные стратегии: в одних цветовые каналы обрабатываются раздельно, 
в других информация из разных цветовых каналов комбинируется при нормализа-
ции каждого пикселя (Sermanet et al., 2012).
Обычно локальную нормализацию контрастности можно эффективно реализовать 
с помощью сепарабельной свертки (см. раздел 9.8), которая вычисляет карты приз-
наков локальных средних и локальных стандартных отклонений, с последующим по-
элементным вычитанием и поэлементным делением разных карт признаков.
Локальная нормализация контрастности – дифференцируемая операция, ее мож-
но использовать как в качестве нелинейности, применяемой к скрытым слоям сети, 
так и в качестве операции предобработки, применяемой к входному изображению.
Как и в случае глобальной нормализации контрастности, обычно необходимо ре-
гуляризировать локальную нормализацию, чтобы избежать деления на нуль. А по-
скольку локальная нормализация применяется к меньшим окнам, то регуляризация 
даже более важна. В малом окне больше шансов, что значения всех пикселей будут 
примерно одинаковы, и, стало быть, больше вероятность получить нулевое стандарт-
ное отклонение.