Я. Гудфеллоу, И. Бенджио, А. Курвилль

X
, то в результате ГНК получается выходное изображение 
X
′
, 
определенное следующим образом:

---

Компьютерное зрение 

383
(12.3)
В наборе данных, состоящем из больших изображений, обрезанных по границе ин-
тересующих объектов, вряд ли имеются изображения с почти постоянной яркостью. 
В таком случае можно без опаски игнорировать проблему малого знаменателя, поло-
жив 
λ
= 0, и избежать деления на 0, возможного в редчайших случаях, взяв в качестве 
ε
какое-нибудь очень малое значение, например 10
–8
. Именно такой подход принят 
в работе Goodfellow et al. (2013a) для набора данных CIFAR-10. Для небольших слу-
чайно обрезанных изображений шансы получить почти постоянную яркость выше, 
поэтому агрессивная регуляризация имеет больше смысла. В работе Coates et al. 
(2011) взяты значения 
ε
= 0, 
λ
= 10 для небольших случайно выбранных фрагментов 
изображений из набора CIFAR-10.
Параметр масштабирования 
s
обычно можно положить равным 1, как сделано в ра-
боте Coates et al. (2011), или выбрать так, чтобы стандартное отклонение каждого 
отдельного пикселя по всем примерам было близко к 1, как в работе Goodfellow et al. 
(2013a).
Стандартное отклонение в формуле (12.3) – это просто умноженная на коэффи-
циент норма 
L
2
изображения (в предположении, что среднее уже вычтено). ГНК 
предпочтительнее определять в терминах стандартного отклонения, а не нормы 
L
2
, 
поскольку первое включает деление на число пикселей, так что одно и то же значе-
ние 
s
можно использовать независимо от размера изображения. Однако тот факт, 
что норма 
L
2
пропорциональна стандартному отклонению, позволяет сделать не-
которые интуитивные заключения. ГНК можно интерпретировать как отображение 
примеров на сферическую оболочку, как показано на рис. 12.1. Это полезное свой-
ство, потому что нейронные сети часто лучше откликаются на пространственные 
направления, а не на точные позиции. Для отклика на различные расстояния в од-
ном направлении необходимы скрытые блоки с коллинеарными векторами весов, 
но разными смещениями. Такую взаимосвязь алгоритму обучения выявить трудно. 
Кроме того, у многих мелких графических моделей возникают трудности, когда 
нужно представить несколько раздельных мод на одной прямой. ГНК предотвра-
щает такие проблемы, сводя каждый пример к направлению, а не к комбинации на-
правления и расстояния.
В противоречие с интуицией существует операция предобработки, называемая 
сферингом
(sphering), отличающаяся от ГНК. Результатом сферинга является не 
отображение данных на поверхность сферы, а нормировка главных компонент на 
одинаковую дисперсию, так чтобы многомерное нормальное распределение, исполь-
зуемое в алгоритме PCA, имело сферические контуры. Операция сферинга больше 
известна под названием 
отбеливание
(whitening).
Применение глобальной нормализации контрастности зачастую не выделяет 
тех признаков изображения, которые мы хотели бы подчеркнуть, например границ 
и углов. Если на сцене имеется большая темная и большая светлая область (напри-
мер, городской сквер, половина которого находится в тени здания), то ГНК гаранти-
рует значительную разницу между яркостью темной и светлой областей. Однако нет 
никакой гарантии, что границы внутри темной области будут выделяться.

---