Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
⏉
W
t
в конечном итоге отбрасывает все компоненты 
x
, ортогональные главному 
собственному вектору 
W
.
В рекуррентных сетях на каждом временном шаге используется одна и та же мат-
рица 
W
, но в сетях прямого распространения это не так, поэтому даже в очень глу-
боких сетях прямого распространения, как правило, удается избежать проблемы ис-
чезающего и взрывного градиента (Sussillo, 2014).
Мы отложим дальнейшее обсуждение проблем обучения рекуррентных сетей до 
раздела 10.7, когда опишем такие сети более детально.
8.2.6. Неточные градиенты
Большинство алгоритмов оптимизации исходит из предположения, что имеется дос-
туп к точному градиенту или гессиану. На практике же обычно налицо только зашум-
ленная или даже смещенная оценка этих величин. Почти все алгоритмы глубокого 
обучения опираются на выборочные оценки, по крайней мере в том, что касается ис-
пользования мини-пакета обучающих примеров для вычисления градиента.
Бывает и так, что целевая функция, которую мы хотим минимизировать, вычис-
лительно неразрешима. В таком случае неразрешимой обычно является и задача вы-
числения градиента, и тогда нам остается только аппроксимировать градиент. Такие 
проблемы чаще всего возникают в более сложных моделях, рассматриваемых в час-
ти III. Например, алгоритм сопоставительного расхождения (contrastive divergence) 
предлагает метод аппроксимации градиента функции логарифмического правдопо-
добия машины Больцмана.
Для компенсации неточной оценки градиента разработаны различные алгоритмы 
оптимизации нейронных сетей. Проблему можно обойти также путем выбора сурро-
гатной функции потерь, которую проще аппроксимировать, чем истинную.
8.2.7. Плохое соответствие между локальной 
и глобальной структурами
Многие рассмотренные выше проблемы касаются свойств функции потерь в одной 
точке – трудно сделать следующий шаг, если 
J
(