Я. Гудфеллоу, И. Бенджио, А. Курвилль

θ
) = 
𝔼
θ
′~
𝒩
(
θ
′
;
θ
,
σ
(
i
)2
)
J
(
θ
′
). 
(8.40)
Интуитивное соображение в пользу этого подхода заключается в том, что некото-
рые невыпуклые функции становятся приближенно выпуклыми после размытия. Во 
многих случаях размытие сохраняет достаточно информации о положении глобаль-
ного минимума, так что его можно найти, решая варианты задачи с уменьшающейся 
степенью размытия. Но эта идея может не сработать по трем причинам. Прежде всего 
нам, возможно, и удастся определить последовательность функций стоимости, в ко-
торой первая функция будет выпуклой, и, проследив оптимум при переходе от одной 
функции к другой, в итоге найти глобальный минимум, но количество промежуточ-
ных функций будет настолько велико, что стоимость всей процедуры останется слиш-
ком большой. NP-трудная задача остается NP-трудной, даже если методы продолже-
ния к ней применимы. Другие две причины неудачи соответствуют неприменимости 
метода в принципе. Во-первых, не исключено, что функция не становится выпуклой 
ни при какой степени размытия. Взять, к примеру, функцию 
J
(
θ
) = –
θ
⏉
θ
. Во-вторых, 
функция может оказаться выпуклой после размытия, но прослеживание ее минимума 
приводит к локальному, а не глобальному минимуму исходной функции стоимости.

---

Стратегии оптимизации и метаалгоритмы 

281
Хотя методы продолжения изначально разрабатывались для решения проблемы 
локальных минимумов, в контексте оптимизации нейронных сетей эта проблема 
уже не считается самой животрепещущей. Тем не менее методы продолжения по-
прежнему полезны. Упрощение целевой функции может устранить плоские участки, 
уменьшить дисперсию оценки градиента, улучшить обусловленность матрицы Гессе 
или сделать еще что-то, что либо облегчит вычисление локальных обновлений, либо 
улучшит соответствие между локальными обновлениями направлений и движением 
в сторону глобального решения.
В работе Bengio et al. (2009) отмечено, что подход, называемый