Я. Гудфеллоу, И. Бенджио, А. Курвилль

Глава 
8
Оптимизация в обучении 
глубоких моделей
Алгоритмы глубокого обучения включают оптимизацию в самых разных контекстах. 
Например, для выполнения вывода в таких моделях, как метод главных компонент, 
необходимо решать задачу оптимизации. Мы часто применяем аналитическую опти-
мизацию для доказательства правильности или проектирования алгоритмов. Из всех 
многочисленных задач оптимизации, решаемых в глубоком обучении, самые трудные 
возникают при обучении нейронной сети. Нередко приходится затрачивать от не-
скольких дней до нескольких месяцев работы на сотнях машин, чтобы решить всего 
одну задачу обучения нейронной сети. Поскольку проблема так важна, а ее решение 
обходится так дорого, разработаны специальные методы оптимизации. В этой главе 
мы рассмотрим методы оптимизации для обучения нейронных сетей.
Если вы незнакомы с базовыми принципами градиентной оптимизации, рекомен-
дуем прочитать главу 4, где приведен краткий обзор числовой оптимизации вообще.
В этой главе нас будет интересовать один частный случай: нахождение парамет-
ров 
θ
нейронной сети, значительно уменьшающих функцию стоимости 
J
(
θ
), которая 
обычно служит мерой качества, вычисляется на всем обучающем наборе и содержит 
дополнительные регуляризирующие члены.
Начнем с того, чем оптимизация, используемая в алгоритме машинного обучения, 
отличается от чистой оптимизации. Затем перечислим несколько конкретных проб-
лем, делающих оптимизацию нейронных сетей такой трудной задачей. После этого 
мы опишем несколько практических алгоритмов, включая как сами алгоритмы опти-
мизации, так и стратегии выбора начальных параметров. Более развитые алгоритмы 
подстраивают свою скорость обучения или используют информацию о вторых произ-
водных функции стоимости. И в заключение приведем обзор нескольких стратегий, 
заключающихся во включении простых алгоритмов оптимизации в высокоуровне-
вые процедуры.