Neyron tarmoq asoslari va uni chuqur o'rganish

Рис. 4.12  Операция свертки

Сверточные нейронные сети (СНС) 123
На рисунке показано, что ядро скользит по входным данным, порождая резуль-таты свертки – признаки. На каждом шаге ядро сворачивается с входными дан-ными в области под ним, порождая одно значение в выходной карте признаков. На практике величина выходного сигнала велика, если искомый признак присут-ствует во входных данных.

Набор весов в сверточном слое принято называть фильтром (или ядром). Этот фильтр сворачивается с входом, и в результате получается карта признаков (или карта активации). Сверточные слои производят преобразования областей вход-ных данных, которые являются функциями активаций в этой области и парамет­ ров (весов и смещений нейронов). Карты активации каждого фильтра склады-ваются в стопку вдоль третьего измерения (глубины), так что в итоге получается трехмерная выходная область.

0. 
   сверточных слоях имеются параметры слоя и дополнительные гиперпарамет­ ры. Для обучения параметров каждого слоя применяется градиентный спуск, так чтобы оценки классов были согласованы с метками в обучающем наборе. Пере-числим основные компоненты сверточных слоев:
   

 фильтры;
 карты активации;
 разделение параметров;
 гиперпараметры каждого слоя.


Фильтры

Параметры сверточного слоя определяют набор его фильтров. Фильтр – это мат­ рица, ширина и высота которой меньше ширины и высоты входных данных.

Размеры фильтров в приложениях для обработки естественного языка

Размер фильтра может совпадать с размером входных данных, но обычно только в одном направлении, а не в обоих. Об этом следует помнить, когда СНС применяются к обработке естественного языка (ОЕЯ, англ. NLP).

0. 
   процессе применения фильтры сдвигаются по ширине и по высоте входной области, как показано на рис. 4.12. Кроме того, они применяются к каждому вер-тикальному сечению входной области. Результатом применения фильтра являет-ся сумма произведений элементов фильтра на соответственные элементы участ-ка входной области под ним.