Я. Гудфеллоу, И. Бенджио, А. Курвилль

8.2.4. Утесы и резко растущие градиенты
В нейронных сетях с большим числом слоев часто встречаются очень крутые участ-
ки, напоминающие утесы (рис. 8.3). Это связано с перемножением нескольких боль-
ших весов. На стене особенно крутого утеса шаг обновления градиента может при-
вести к очень сильному изменению параметров, что обычно заканчивается «срывом» 
с утеса.
Утес представляет опасность вне зависимости от того, приближаемся мы к нему 
сверху или снизу, но, по счастью, самых печальных последствий можно избежать с по-
мощью эвристической техники 
отсечения градиента
, описанной в разделе 10.11.1. 
Основная идея – вспомнить, что градиент определяет не оптимальный размер шага, 
а лишь оптимальное направление в бесконечно малой области. Когда традиционный 
алгоритм градиентного спуска предлагает сделать очень большой шаг, вмешивает-
ся эвристика отсечения, и в результате шаг уменьшается, так что становится менее 

---

Проблемы оптимизации нейронных сетей 

249
вероятным выход за пределы области, в которой градиент указывает приближен-
ное направление самого крутого спуска. Утесы чаще всего встречаются в функциях 
стои мости рекуррентных нейронных сетей, поскольку в таких моделях вычисляет-
ся произведение большого числа множителей, по одному на каждый временной шаг. 
Поэтому чем длиннее временная последовательность, тем больше количество пере-
множений.
8.2.5. Долгосрочные зависимости
Еще одна трудность для алгоритмов оптимизации нейронной сети возникает, когда 
граф вычислений становится очень глубоким. Такие графы характерны для много-
слойных сетей прямого распространения, а также для рекуррентных сетей (глава 10), 
в которых очень глубокий граф вычислений создается в результате применения од-
ной и той же операции на каждом шаге длинной временной последовательности. Пов-
торное применение одних и тех же параметров вызывает особенно трудно преодоли-
мые сложности.
w
b
J
(
w
; 
b
)
Рис. 8.3 

Целевая функция сильно нелинейной глубокой нейронной сети 
или рекуррентной сети часто характеризуется резкими нелинейностями 
в пространстве параметров, возникающими из-за перемножения несколь-
ких параметров. В местах таких нелинейностей значения производных 
очень велики. Когда параметры приближаются к подобному утесу, шаг об-
новления в методе градиентного спуска может сдвинуть параметры очень 
далеко, при этом может потеряться все, чего удалось достичь в ходе пред-
шествующей оптимизации. Рисунок взят из работы Pascanu et al. (2013) 
с разрешения авторов
Например, предположим, что граф вычислений содержит путь, состоящий из пов-
торных умножений на матрицу