Neyron tarmoq asoslari va uni chuqur o'rganish

Визуализация обученных фильтров

На рис. 4.16 показаны 96 обученных фильтров размера 11 × 11 × 3. Благодаря разде-лению параметров мы можем обучить сеть обнаружению горизонтальных границ только в одном месте и, воспользовавшись позиционно-инвариантной природой изображения, не обучать тот же признак во всех точках.

Возьмем двумерное изображение. Если разбить его на четыре части, то ней-ронная сеть обучится инвариантным относительно положения признакам. Инва-риантность объясняется тем, что сеть разбивает данные на квадранты. Затем она обучается на частях изображения и агрегирует результаты в пулинговом слое. Тем самым сеть обучается всему представлению, не локальному относительно кон-кретного набора признаков. Мы вернемся к этому вопросу в главе 6.

Сверточные нейронные сети (СНС) 127


Рис. 4.16  Примеры фильтров, обученных в работе Krizhevsky et al.15

(96 фильтров размера 11 × 11 × 3)

Вращательная инвариантность признаков в СНС

Обученные признаки по построению являются позиционно-инвариантными, но в общем случае они не обладают инвариантностью относительно вращения. Впрочем, добиться неко-торой вращательной инвариантности можно с помощью подходящего пополнения данных.

Функции активации ReLU как слои

0. 
   СНС часто используются ReLU-слои. ReLU-слой применяет к входным данным поэлементную функцию активации с отсечением в нуле, например max(0,x), по-рождая выход такой же размерности, как вход.
   

Типы слоев и функции активации в DL4J

0. 
   DL4J слой определяется типом функции активации (хотя это не всегда отражено в имени класса слоя). Функции активации в DL4J встроены в сами слои. В других библиотеках, на-пример Caffe, используются отдельные слои активации.
   

Применение этой функции к входной области изменяет значения пикселей, но не пространственные размеры входных данных. У ReLU-слоев нет ни параметров, ни дополнительных гиперпараметров.