Я. Гудфеллоу, И. Бенджио, А. Курвилль

y
прочно ассоциируется с одним из каузальных факторов 
x
, то 
p
(
x
) 
и 
p
(
y
| 
x
) будут сильно связаны, и обучение без учителя представления, которое пы-
тается разделить каузальные факторы вариативности, вероятно, будет полезно в ка-
честве стратегии обучения с частичным привлечением учителя.
Предположим, что 
y
– один из каузальных факторов 
x
, и пусть 
h
– представление 
всех таких факторов. Можно считать, что истинный порождающий процесс струк-
турирован в виде следующей ориентированной графической модели, в которой 
h
– 
родитель 
x
:
p
(
h
, 
x
) = 
p
(
x
| 
h
)
p
(
h
). 
(15.1)
Следовательно, безусловная вероятность данных равна
p
(
x
) = 
𝔼
h
p
(
x
| 
h
). 
(15.2)
Из этого простого наблюдения мы заключаем, что наилучшей моделью 
x
(с точки 
зрения обобщаемости) будет такая, которая вскрывает приведенную выше «истин-
ную» структуру, в которой 
h
– латентная переменная, объясняющая наблюдаемую 

---

Разделение каузальных факторов с частичным привлечением учителя 

457
вариативность 
x
. Поэтому в ходе обучения «идеального» представления следует вы-
явить все такие латентные факторы. Если 
y
– один из них (или тесно связан с одним 
из них), то будет легко научиться предсказывать