Я. Гудфеллоу, И. Бенджио, А. Курвилль

350 

 
Моделирование последовательностей: рекуррентные и рекурсивные сети
совместно перенормируется с одним масштабным коэффициентом, у второго метода 
есть преимущество: он гарантирует, что каждый шаг происходит все еще в направ-
лении градиента; впрочем, эксперименты показывают, что оба метода работают при-
мерно одинаково. Хотя обновление параметров направлено в ту же сторону, что ис-
тинный градиент, в случае отсечения градиента по норме норма вектора обновления 
оказывается ограниченной, вследствие чего алгоритм избегает убийственного шага 
при резком росте градиента. На самом деле даже случайный выбор шага в случае, ког-
да абсолютная величина превышает порог, работает почти так же хорошо. Если рост 
настолько сильный, что градиент принимает значение 
Inf
или 
Nan
(бесконечность или 
«не число»), то, взяв случайный размер шага 
v
, мы, как правило, уйдем из области 
численной неустойчивости. Отсечение нормы градиента на мини-пакет не изменяет 
направления градиента для отдельного мини-пакета. Однако усреднение отсеченных 
по норме градиентов по многим мини-пакетам не эквивалентно отсечению нормы ис-
тинного градиента (образованного при использовании всех примеров). Вклад при-
меров с большой нормой градиента, а также примеров, входящих в один мини-пакет 
с ними, в конечное направление уменьшается. Это контрастирует с традиционным 
мини-пакетным градиентным спуском, когда направление истинного градиента сов-
падает с результатом усреднения всех мини-пакетных градиентов. По-другому мож-
но сказать, что в традиционном стохастическом градиентном спуске используется 
несмещенная оценка градиента, тогда как в градиентном спуске с отсечением по нор-
ме вводится эвристическое смещение, которое, как мы знаем, эмпирически полезно. 
В случае поэлементного отсечения направление обновления не совпадает с направле-
нием истинного или мини-пакетного градиента, но все равно является приемлемым. 
Предлагалось (Graves, 2013) отсекать градиент на этапе обратного распространения 
(с учетом скрытых блоков), но результаты сравнения этого варианта с другими не 
опубликованы; отсюда мы заключаем, что все эти методы ведут себя более-менее оди-
наково.