Neyron tarmoq asoslari va uni chuqur o'rganish

Управление локальной связностью с помощью рецептивного поля
Нейроны слоя связаны с небольшим пространственным участком входной области, но глубина этого участка всегда совпадает с глубиной области. Следовательно, по глу-бине мы всегда имеем полную связность. Рассмотрим это на примере набора изобра­ жений CIFAR-10, о котором упоминалось выше.

0. 
   этом случае размер входной области 32 × 32 × 3, а рецептивное поле задано как 5 × 5. Каждый нейрон сверточного слоя имеет 5 × 5 × 3 связей с элементами входной области, что дает 5 * 5 * 3 = 75 весов.
   

Отметим, что глубина входной области равна 3. Участок, видимый нейрону, по ширине и высоте меньше изображения, но глубина всегда неизменна. Несмотря на локальную связность нейронов сверточного слоя, сами нейроны остаются такими же, как и рань-ше,– мы по-прежнему вычисляем скалярное произведение весов с входом, применяя нелинейную функцию.

Единственное отличие состоит в том, что нейрон теперь связан только с подмножест­ вом входных данных, а не с каждым нейроном предыдущего слоя, как в традицион-ных многослойных нейронных сетях.

Фильтр определяет небольшую ограниченную область, по которой генерируют-ся карты активации. Это позволяет обеспечить качественное выделение призна-ков, сократив количество обучаемых параметров. При этом сверточные слои еще уменьшают это количество благодаря технике разделения параметров.


Разделение параметров

0. 
   СНС для управления общим числом параметров применяется техника разделе-ния параметров, что позволяет сократить время обучения. Назовем двумерную срезку входной области вдоль измерения глубины «сечением» и потребуем, чтобы у нейронов в каждом сечении были одинаковые веса и смещения. В результате число параметров для данного сверточного слоя существенно уменьшается.
   

Мы не можем воспользоваться преимуществами разделения параметров, ког-да обучающие входные изображения имеют специфическую структуру с центром. Этот эффект особенно заметен для лиц, поскольку мы ожидаем найти определен-ный признак в определенном месте (если лицо центрировано). В таком случае применять разделение параметров не стоит. Кстати говоря, именно благодаря разделению параметров СНС инвариантны к параллельному переносу.