Я. Гудфеллоу, И. Бенджио, А. Курвилль

10.11.1. Отсечение градиентов
В разделе 8.2.4 отмечалось, что у сильно нелинейных функций, таких, например, как 
те, что вычисляются рекуррентной сетью через много временных шагов, производные 
нередко слишком малы или слишком велики по абсолютной величине. Это показано 
на рис. 8.3 и 10.17, где «ландшафт» целевой функции (как функции параметров) со-
держит «уступы»: широкие и довольно плоские участки, разделенные чрезвычайно 
узкими областями, где целевая функция быстро изменяется.
Трудность состоит в том, что когда градиент параметров очень велик, при обновле-
нии параметров градиентного спуска параметры могут быть отброшены очень далеко 
в область бо

льших значений целевой функции, и тогда значительная часть работы, 

---

Оптимизация в контексте долгосрочных зависимостей 

349
проделанной для нахождения текущего решения, пойдет насмарку. Градиент ука-
зывает направление, соответствующее наискорейшему спуску в бесконечно малой 
окрестности текущих параметров. Вне этой окрестности функция стоимости может 
снова начать возрастать. Обновление следует выбирать достаточно малым, чтобы 
предо твратить слишком сильный подъем. Обычно мы берем скорости обучения, сни-
жающиеся достаточно медленно для того, чтобы на соседних шагах скорость обуче-
ния была примерно одинаковой. Размер шага, подходящий на сравнительно плоских 
участках ландшафта, зачастую не годится, т. к. приводит к подъему, когда на следую-
щем шаге мы оказываемся на более искривленном участке.
Без отсечения
С отсечением
w
w
b
b
J
(
w
, 
b
)
J
(
w
, 
b
)
Рис. 10.17 

Пример эффекта отсечения градиента в рекуррентной сети 
с двумя параметрами