Я. Гудфеллоу, И. Бенджио, А. Курвилль

8.2.8. Теоретические пределы оптимизации
Есть несколько теоретических результатов, показывающих, что существуют пределы 
качества у любого мыслимого алгоритма оптимизации для нейронных сетей (Blum 
and Rivest, 1992; Judd, 1989; Wolpert and MacReady, 1997). Как правило, такие резуль-
таты бесполезны для практического использования нейронных сетей.
Ряд теоретических результатов относится только к случаю, когда блоки нейронной 
сети выводят дискретные значения. В большинстве нейронных сетей блоки выводят 
гладко возрастающие значения, благодаря чему и возможна оптимизация методом 
локального поиска. Другие результаты показывают, что существуют классы неразре-
шимых задач, но трудно сказать, попадает ли в такой класс данная конкретная задача. 
Есть также результаты, доказывающие невозможность найти решение для сети задан-
ного размера, но на практике легко можно найти решение, используя сеть большего 
размера, для которой гораздо больше конфигураций параметров соответствуют при-
емлемому решению. Кроме того, в контексте обучения нейронных сетей нас обычно 
не интересует нахождение точного минимума функции, нужно лишь найти значение, 
достаточно малое для получения хорошей ошибки обобщения. Теоретически про-

---

Основные алгоритмы 

253
анализировать, может ли алгоритм оптимизации достичь этой цели, исключительно 
трудно. Поэтому разработка более реалистичных границ качества алгоритмов опти-
мизации остается важной целью исследований по машинному обучению.
8.3. Основные алгоритмы
Мы уже познакомились с алгоритмом градиентного спуска (раздел 4.3), идея которо-
го – перемещаться в направлении убывания градиента всего обучающего набора. Ра-
боту можно значительно ускорить, воспользовавшись стохастическим градиентным 
спуском для случайно выбранных мини-пакетов, как описано в разделах 5.9 и 8.1.3.