Neyron tarmoq asoslari va uni chuqur o'rganish

Рис. 4.3  На более поздних этапах начинают проявляться признаки


Рис. 4.4  Ближе к концу обучения мы видим части цифр


Инициализация сети прямого распространения. Затем выделенные при-знаки используются в качестве начальных весов в традиционной нейронной сети прямого распространения с обратным распространением ошибки. Благодаря это-му алгоритм обучения находит лучшие области в пространстве параметров. Этот этап называется точной настройкой ГСД.


Точная настройка ГСД с помощью многослойной нейронной сети прямого распространения
На этапе точной настройки ГСД мы используем обычное обратное распростра-нение с пониженной скоростью обучения. Этап предобучения можно рассматри-вать как неуправляемый поиск в пространстве параметров на основе исходных данных. Напротив, цель точной настройки – специализация сети и ее признаков к конкретной решаемой задаче (например, классификации).


Мягкое обратное распространение. На этапе предобучения с помощью ОМБ из данных были выделены признаки высшего порядка, которые можно исполь-зовать в качестве хороших начальных значений весов сети прямого распростра-
114  Основные архитектуры глубоких сетей
нения. Мы хотим еще уточнить эти веса и так получить окончательную модель нейронной сети.


Выходной слой. Обычно цель глубокой сети – обучиться набору признаков. Первый слой сети учится реконструировать оригинальный набор данных, а каж-дый последующий учится реконструировать распределение вероятности значе-ний активации предыдущего слоя. Выходной слой нейронной сети связан с общей целевой функцией. Обычно это логистическая регрессия, в которой число призна-ков равно числу входов в последний слой, а число выходов равно числу классов.


Современное состояние ГСД

0. 
   этой книге мы не уделяем ГСД столько же внимания, сколько другим сетевым архитектурам. Дело в том, что в настоящее время для моделирования изображе-ний гораздо чаще применяются СНС, поэтому мы решили оставить больше места для этой архитектуры.