Я. Гудфеллоу, И. Бенджио, А. Курвилль

w
и 
b
. В результате отсечения метод градиентного 
спуска иногда ведет себя более разумно вблизи особенно крутых уступов. 
Такие крутые уступы часто встречаются в рекуррентных сетях рядом с участ-
ками, где сеть ведет себя почти линейно. Крутизна уступа экспоненциально 
возрастает с увеличением числа временных шагов, поскольку на каждом 
шаге матрица весов умножается на себя же. (
Слева
) Градиентный спуск без 
отсечения градиента проскакивает дно этого небольшого ущелья, после 
чего градиент резко возрастает на стенке уступа. Большой градиент при-
водит к катастрофическому уходу параметров от оптимума. (
Справа
) Гра-
диентный спуск с отсечением градиента реагирует на уступ не так резко. 
Хотя подъем имеет место, размер шага ограничен, поэтому мы не можем 
уйти слишком далеко от крутой области рядом с решением. Рисунок взят из 
работы Pascanu et al. (2013) с разрешения авторов
На практике уже много лет используется простое решение: 
отсечение градиента
. 
У этой идеи много вариантов (Mikolov, 2012; Pascanu et al., 2013). Один из них – отсе-
кать градиент параметров на примерах из мини-пакета 
поэлементно
(Mikolov, 2012), 
непосредственно перед обновлением параметров. Другой – 
отсекать норму ||
g
|| гра-
диента 
g
(Pascanu et al., 2013) непосредственно перед обновлением параметров:
if ||
g
|| > 
v
,
 
(10.48)
 
(10.49)
где 
v
– порог нормы, а 
g
используется для обновления параметров. Поскольку гради-
ент всех параметров (включая различные группы, как, например, веса и смещения) 

---