Neyron tarmoq asoslari va uni chuqur o'rganish

Гиперпараметры сверточных слоев

Следующие гиперпараметры16 определяют пространственную организацию и размер выхода сверточного слоя:

 размер фильтра (ядра), т. е. рецептивное поле;
 глубина выхода;
 шаг;
 заполнение нулями.

0. 
   Krizhevsky et al., 2012. ImageNet Classification with Deep Convolutional Neural Networks // https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf.
   
1. 
   В СНС часто встречается также параметр «наращивание» (dilation), но в версии DL4J 0.7 он не поддерживается.
   

128  Основные архитектуры глубоких сетей

0. 
   этом разделе объясняется, как работают эти гиперпараметры. А в главе 7 мы расскажем о настройке слоев СНС.
   

Размер фильтра. Фильтр невелик по сравнению с входным изображением. На-пример, в первом сверточном слое может применяться фильтр размера 5 × 5 × 3, имеющий ширину и высоту по 5 пикселей, а глубину 3 цветовых канала (предпо-лагается, что входное изображение представлено в 3-канальном формате RGB).


Глубина выхода. Мы можем вручную выбрать глубину выходной области. Ги-перпараметр «глубина» задает количество нейронов в сверточном слое, связан-ных с одной и той же входной областью.


Границы и активация

Различные нейроны вдоль третьего измерения (глубины) обучаются активироваться в ответ на созданные входные данные (например, цвет или границы).

Множество нейронов, связанных с одним и тем же участком входной области, называется столбиком (depth column).

Шаг. Этот гиперпараметр задает расстояние, на которое сдвигается окно фильт­ ра на одном шаге. При каждом применении фильтра к входной области создает-ся новый столбик в выходной области. Чем меньше величина шага (например, 1 означает, что фильтр сдвигается на один пиксель), тем больше будет выходных столбиков. При этом рецептивные поля столбиков сильнее перекрываются. На-оборот, чем больше величина шага, тем меньше перекрытие рецептивных полей и пространственный размер выходной области.