Neyron tarmoq asoslari va uni chuqur o'rganish

Несколько предостережений о гиперпараметрах

Некоторые гиперпараметры применимы не всегда. Соответствующие детали мы обсудим

0. 
   главах 6 и 7. Кроме того, после изменения одного гиперпараметра может понадобиться изменить и другие. Наконец, некоторые гиперпараметры несовместимы между собой (на-пример, Adagrad и импульс).
   

Размер слоя

Размер слоя – это количество нейронов в нем. С входным и выходным слоя-ми все ясно, потому что они напрямую соответствуют входу и выходу модели. Размер входного слоя равен числу признаков во входном векторе. А в выходном слое будет либо один нейрон, либо столько, сколько классов мы пытаемся пред-сказать.

0. 
   вот выбор числа нейронов в скрытых слоях – проблема настройки гиперпара-метра. Мы можем задать любое число, никаких правил, диктующих размер слоя, не существует. Но сложность моделируемой задачи напрямую связана с количест­ вом нейронов в скрытых слоях сети. Возможно, вы решите с самого начала взять побольше нейронов, но за это решение придется заплатить.
   

Схема связей между слоями зависит от архитектуры глубокой сети. Но, как мы видели в главе 1, обучиться сеть должна весам связей. Включив в модель больше параметров, мы увеличиваем объем работы, необходимой для обучения. Увели-чивается время обучения, и могут возникнуть проблемы со сходимостью.

Большое число параметров и переобучение

Иногда модель с большим числом параметров сходится быстрее просто потому, что «запо-минает» обучающие данные. В главе 6 мы обсудим способы борьбы с переобучением.

0. 
   главе 6 мы поговорим об эвристиках для определения числа нейронов в од-ном слое и о том, как итеративно находить хорошие значения гиперпараметров.
   

Масштабные параметры

0. 
   гиперпараметрам из этой категории относятся скорость обучения, величина шага и импульс.