Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
– след-
ствие, а 
y
– причина, то моделирование 
p
(
x
| 
y
) устойчиво относительно изменения 

---

Распределенное представление 

459
p
(
y
). Если бы мы изменили причинно-следственную связь на противоположную, 
то это уже было бы неверно, потому что согласно правилу Байеса 
p
(
x
| 
y
) была бы 
чувствительна к изменениям 
p
(
y
). Очень часто, когда мы рассматриваем изменения 
в распределении из-за различных доменов, нестационарности во времени или измене-
ний в характере задачи, 
каузальные механизмы остаются инвариантными
(«законы 
Вселенной постоянны»), тогда как маргинальное распределение причин вариатив-
ности может изменяться. Поэтому лучшей обобщаемости и устойчивости к разного 
рода изменениям можно ожидать, когда обученная порождающая модель стремится 
выявить каузальные факторы 
h
и 
p
(
x
| 
h
).
Истинная картина
Состязательное 
обучение
Среднеквадратическая 
ошибка
Рис. 15.6 

Предсказательные порождающие сети – пример, демонстри-
рующий, как важно обучиться тому, какие признаки являются выраженны-
ми. В данном случае порождающая сеть обучена предсказывать внешний 
вид трехмерной модели головы человека при заданном угле обзора. (
Сле-
ва
) Истинная картина. Это то изображение, которое должна выдать сеть. 
(
В центре
) Изображение, порожденное сетью, обученной с применением 
одной лишь среднеквадратической ошибки. Поскольку уши не слишком 
выделяются по яркости на фоне соседних участков кожи, модель не соч-
ла эти признаки достаточно выраженными для включения в представле-
ние. (
Справа
) Изображение, порожденное моделью, которая была обучена 
с применением комбинации среднеквадратической ошибки и состязатель-
ной потери. При такой функции стоимости уши – достаточно выраженный 
признак, потому что образуют предсказуемый паттерн. Выявление в про-
цессе обучения тех объясняющих причин, которые достаточно важны и ре-
левантны модели, – важное направление современных исследований. Ри-
сунки взяты из работы Lotter et al. (2015)