Neyron tarmoq asoslari va uni chuqur o'rganish

Методы второго порядка

Методы второго порядка способны выбирать «лучшие» шаги, но на каждом шаге произво-дится больше вычислений.

Практическое применение алгоритмов оптимизации

Мы сообщаем достаточно детальную информацию об алгоритмах оптимизации, чтобы вы знали о том, что за ними стоит. В следующих главах мы будем просто говорить, когда и в ка-ком контексте следует использовать каждый алгоритм.

Общие архитектурные принципы глубоких сетей  97
Другие алгоритмы оптимизации

Существуют и другие алгоритмы оптимизации (например, «метаэвристики»), не рассматри-

ваемые в этой книге. К ним относятся:

• генетические алгоритмы;

• оптимизация методом роя частиц;

• оптимизация методом колонии муравьев;

• имитация отжига.

Методы первого порядка

Упомянутая выше матрица Якоби состоит из частных производных функции по-терь по параметрам сети. На практике она вычисляется в точке, определяемой текущими значениями параметров.

Если считать, что для приближения к цели мы делаем по одному шагу за раз, то методы первого порядка на каждом шаге вычисляют градиент (якобиан), чтобы определить направление следующего шага. Это означает, что на каждой итера-ции мы пытаемся найти наилучшее направление движения, определяемое нашей функцией потерь. Потому-то алгоритмы оптимизации часто называют «поис-ком». Они ищут путь к точке с минимальной ошибкой.

Градиентный спуск – член семейства алгоритмов поиска пути. Существуют раз-ные варианты градиентного спуска, но в основе своей он сводится к нахождению направления следующего шага, оптимального с точки зрения целевой функции. Эти шаги приближают нас к глобальному минимуму ошибки или к максимально-му правдоподобию.

Стохастический градиентный спуск (СГС) – основной алгоритм оптимизации

0. 
   машинном обучении. Он на несколько порядков быстрее таких методов, как па-кетный градиентный спуск, но при этом не приносит в жертву верность модели.