Я. Гудфеллоу, И. Бенджио, А. Курвилль

410 

 
Исследования по глубокому обучению
В вероятностных моделях вычислительные проблемы возникают из-за необходи-
мости произвести неразрешимый вывод или нормировать распределение.
 

Неразрешимый вывод.
Вывод обсуждается преимущественно в главе 19. Речь 
идет об угадывании вероятных значений некоторых величин a при условии 
других величин b в модели, которая хранит совместное распределение вели-
чин a, b и c. Чтобы просто вычислить такие условные вероятности, необходимо 
просуммировать по значениям величин c, а также вычислить нормировочную 
постоянную, что требует суммирования по значениям a и c.
 

Неразрешимые нормировочные постоянные (статистическая сумма).
Стати-
стическая сумма обсуждается в основном в главе 18. Нормировочные посто-
янные функций вероятности возникают как при выводе (см. выше), так и при 
обучении. Такие постоянные входят во многие вероятностные модели. К сожа-
лению, для обучения такой модели часто необходимо вычислять градиент лога-
рифма статистической суммы по параметрам модели. Эти вычисления в общем 
случае так же сложны, как и вычисление самой статистической суммы. Для ра-
боты со статистической суммой (вычисления ее самой или ее градиента) часто 
применяются методы Монте-Карло по схеме марковских цепей (Monte Carlo 
Markov chain – MCMC) (глава 17). Увы, они испытывают трудности, когда 
у распределения много мод и они далеко отстоят друг от друга, что особенно 
характерно для пространств высокой размерности (раздел 17.5).
Один из способов борьбы с такими неразрешимыми вычислениями – аппрокси-
мация, и в этом направлении предложено много методов, обсуждаемых ниже. Дру-
гой интересный подход – вообще избежать таких вычислений, и методы, в которых 
удается обойтись без них, выглядят очень соблазнительно. С этой целью в последние 
годы предложено несколько порождающих моделей. Широкий спектр современных 
подходов к порождающему моделированию обсуждается в главе 20.