Neyron tarmoq asoslari va uni chuqur o'rganish

Рис. 4.10  Входной слой

трехмерной области
Сверточные нейронные сети (СНС)  121
Мини-пакет как четвертое измерение

Когда мы собираем несколько обучающих примеров в мини-пакет, появляется четвертое измерение – индекс примера в мини-пакете. Поэтому в DL4J массив обучающих данных, содержащий изображения, четырехмерный, а не трехмерный.

Слои выделения признаков имеют повторяющуюся структуру:

0. 
   Сверточный слой. Блок линейной ректификации (ReLU), который на самом деле является функцией активации, показан здесь в виде слоя, поскольку так принято в литературе.
   

0. 
   Пулинговый слой.
   

Эти слои находят признаки в изображениях и последовательно строят при-знаки высших порядков. Это вполне соответствует общему принципу глубо-кого обучения, согласно которому признаки ищутся автоматически, в резуль-тате обучения­, а не конструируются вручную, как в традиционном машинном обучении­.

Наконец, мы имеем один или несколько полносвязных слоев классификации, которые принимают признаки высшего порядка и порождают вероятности (оцен-ки). Каждый нейрон любого их этих слоев связан со всеми нейронами предыду-щего слоя. На выходе обычно получается двумерный массив размера [b × N], где b – количество примеров в мини-пакете, в N – число интересующих нас классов.

Пространственная организация нейронов

Напомним, что в традиционных многослойных нейронных сетях слои полносвязные, т. е. каж-дый нейрон предыдущего слоя связан со все-ми нейронами следующего. Нейроны в слоях СНС располагаются в трех измерениях, в соот-ветствии со структурой входных данных. Под глубиной здесь понимается третье простран-ственное измерение, а не количество слоев ней-ронной сети.

Эволюция связей между слоями

Еще одно отличие заключается в способе соеди-нения слоев в сверточной архитектуре. Нейро-ны каждого слоя связаны только с небольшим числом нейронов предшествующего слоя. В СНС сохранена слоистая архитектура, как в традици-онных многослойных сетях, но типы слоев дру-

гие. Каждый слой преобразует трехмерную входную область предыдущего слоя

0. 
   трехмерный массив значений активации, применяя некоторую дифференциру-емую функцию, с параметрами или без, как показано на рис. 4.10.