Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
) без учителя ничем не помогает 
обуче нию 
p
(
y
| 
x
). Рассмотрим, к примеру, случай, когда 
p
(
x
) имеет равномерное рас-
пределение и мы хотим обучить 
f
(
x
) = 
𝔼
[
y
| 
x
]. Очевидно, что наблюдение одного 
лишь обучающего набора значений 
x
не дает никакой информации о 
p
(
y
| 
x
).
Теперь рассмотрим простой пример ситуации, когда обучение с частичным при-
влечением учителя может принести успех. Пусть распределение 
x
– это смесь распре-
делений, в которой каждой компоненте соответствует одно значение 
y
, как показано 
на рис. 15.4. Если компоненты смеси четко разделены, то моделирование 
p
(
x
) точно 
определит, где какая компонента, и тогда одного помеченного примера каждого клас-
са будет достаточно для идеального обучения 
p
(
y
| 
x
). Но в более общем случае что 
может связывать 
p
(
y
| 
x
) и 
p
(
x
)?
y = 1
y = 2
y = 3
p
(
x
)
x
Рис. 15.4 

Смесовая модель. Плотность распределения 
x
является 
смесью трех компонент. Каждая компонента соответствует истинному объ-
ясняющему фактору 
y
. Поскольку компоненты смеси (например, классы 
естественных объектов в изображениях) статистически выражены, то прос-
тое моделирование 
p
(
x
)
без учителя, при полном отсутствии помеченных 
примеров, уже выявляет фактор 
y
Если величина