h
) =
∏
i
P
(
h
i
), но линейные
зависимости или зависимости, улавливаемые мелким автокодировщиком, так-
же разумны. Это предположение, имеющее место во многих физических зако-
нах, делается, когда поверх обученного представления реализуется линейный
предиктор или факторизованное априорное распределение.
Идея обучения представлений связывает воедино многие формы глубокого обуче-
ния. Сети прямого распространения и рекуррентные сети, автокодировщики и глу-
бокие вероятностные модели – все они обучают представления и используют их.
Обучение наилучшего из возможных представлений остается увлекательным на-
правлением исследований.
Глава
16
Структурные
вероятностные модели
в глубоком обучении
Глубокое обучение опирается на многочисленные формализмы моделирования, ко-
торыми исследователи могут пользоваться при проектировании и описании алгорит-
мов. Один из таких формализмов – идея
структурной вероятностной модели
. Мы
уже кратко обсуждали их в разделе 3.14, и этого обсуждения было достаточно, что-
бы понять, как структурные вероятностные модели используются в качестве языка
для описания некоторых алгоритмов. Теперь же, в третьей части книги, такие модели
предстанут в виде ключевого ингредиента многих из наиболее важных направлений
исследований в глубоком обучении. Эта глава задумана независимой от остальной
книги: для ее чтения не придется обращаться к ранее изложенному материалу.
Структурная вероятностная модель – это способ описания распределения вероят-
ности с помощью графа, показывающего, какие случайные величины взаимодейству-
ют между собой непосредственно. Здесь слово «граф» употребляется в смысле теории
графов и обозначает множество вершин, соединенных ребрами. Поскольку структура
модели определена в виде графа, такие модели часто называют также
графическими
.
Ученые, работающие в этой области, разработали много разных моделей, алго-
ритмов обучения и алгоритмов вывода. В этой главе мы познакомимся с основными
идеями, делая упор на концепциях, которые оказались особенно полезны в контекс-
те глубокого обучения. Если вы уже хорошо знакомы с графическими моделями, то
можете спокойно пропустить большую часть главы. Однако даже специалисту бу-
дет небезынтересно прочитать последний раздел 16.7, в котором описываются не-
которые специфические способы применения графических моделей в алгоритмах
глубокого обучения. В глубоком обучении структуры моделей алгоритмы обучения
и про цедуры вывода используются совсем не так, как принято среди исследователей
графических моделей. В этой главе мы расскажем об этих отличиях и объясним, в чем
причина.
Сначала поговорим о проблемах, возникающих при построении крупномасштаб-
ных вероятностных моделей, а затем покажем, как использовать граф для описа-
ния структуры распределения вероятности. Хотя этот подход позволяет преодолеть
многие трудности, у него есть собственные проблемы. Одна из главных трудностей
графического моделирования – понять, какие величины должны взаимодействовать
Do'stlaringiz bilan baham: |