Neyron tarmoq asoslari va uni chuqur o'rganish

AdaDelta. Метод AdaDelta24 – вариант AdaGrad, в котором хранится лишь не-давняя история, а не вся, как в AdaGrad.


ADAM. В методе ADAM (последний по времени алгоритм обновления, разра-ботанный в Торонтском университете) скорость обучения вычисляется на основе оценок первого и второго моментов градиентов.


Регуляризация

Обсудим идею регуляризации глубже, чем в главе. Регуляризация – это способ борьбы с переобучением. Переобучение возникает, когда модель хорошо описы-вает обучающий набор, но не обобщается на новые данные. Переобученные моде-ли не обладают предсказательной способностью для данных, которых не видели раньше. Джеффри Хинтон так описывает наилучший способ построения модели на основе нейронной сети:

Доведите ее до переобучения, а затем зарегуляризируйте до смерти.

Регуляризация помогает изменять градиент, так чтобы не производить шаги

0. 
   направлениях, ведущих к переобучению. К методам регуляризации относятся следующие:
   

 прореживание (Dropout);
 прореживание связей (DropConnect);  штраф по норме L1;


 штраф по норме L2.
Методы Dropout и DropConnect скрывают части входных данных на каждом слое, так чтобы нейронная сеть обучалась на других частях. Частичное обнуление данных заставляет сеть обучаться более общим представлениям. Принцип работы регуляризации заключается в прибавлении дополнительного члена к вычислен-ному стандартным способом градиенту.


Прореживание (DropOut). Механизм прореживания25 применяется, чтобы улучшить процесс обучения нейронной сети за счет устранения скрытых блоков. Заодно повышается и скорость обучения. Алгоритм случайным образом выбирает нейроны, которые не будут участвовать ни в прямом, ни в обратном распростра-нении.


Прореживание и усреднение модели

Мы можем также сопоставить прореживание с идеей усреднения выхода нескольких мо-делей. Взяв коэффициент прореживания 0.5, мы получим среднее значение модели. Слу-чайное прореживание признаков – это выборка из 2N возможных архитектур, где N – число параметров.