Я. Гудфеллоу, И. Бенджио, А. Курвилль



Download 14,23 Mb.
Pdf ko'rish
bet85/779
Sana14.06.2022
Hajmi14,23 Mb.
#671946
TuriКнига
1   ...   81   82   83   84   85   86   87   88   ...   779
Bog'liq
Гудфеллоу Я , Бенджио И , Курвилль А Глубокое обучение

Рис. 3.6 

Расхождение КЛ несимметрично. Предположим, что мы хо-
тим аппроксимировать распределение 
p
(
x
)
другим распределением 
q
(
x
)

Можно выбирать, что минимизировать: 
D
KL
(
p
||
q
)
или 
D
KL
(
q
||
p
)
. На рисунке 
показаны последствия выбора в случае, когда 
p
– смесь двух нормальных 
распределений, а 
q
– обычное нормальное распределение. Выбор направ-
ления расхождения зависит от задачи. Для одних приложений нужна ап-
проксимация, в которой вероятность высока там, где высока вероятность 
истинного распределения, а для других – чтобы была низкая вероятность 
там, где низка вероятность истинного распределения. (
Слева
) Результат 
минимизации 
D
KL
(
p
||
q
)
. В этом случае 
q
выбирается так, чтобы была высокая 
вероятность там, где высока вероятность 
p
. Если p имеет несколько мод, то 
q
стремится размазать моды, собрав заключенную в них массу вероятно-
сти. (
Справа
) Результат минимизации 
D
KL
(
q
||
p
)
. В этом случае 
q
выбирается 
так, чтобы была низкая вероятность там, где низка вероятность 
p
. Если 
p
имеет несколько достаточно далеко отстоящих мод, как на этом рисунке, то 
расхождение КЛ достигает минимума, когда выбирается одна мода, чтобы 
предотвратить размещение массы вероятности в областях низкой вероят-
ности между модами 
p
. На рисунке показан результат, когда 
q
выбрано, так 
чтобы усилить левую моду. Такое же значение расхождения КЛ можно было 
бы получить, выбрав правую моду. Если моды не разделены достаточно вы-
раженной областью малой вероятности, то и при таком выборе направле-
ния расхождения КЛ может произойти размазывание мод
Вместо этого мы можем разделить распределение вероятности на много перемно-
жаемых факторов. Допустим, к примеру, что имеются три случайные величины: a, b 
и c. Предположим, что a влияет на b, b влияет на c, но a и c независимы при условии 
b. Распределение вероятности всех трех переменных можно представить в виде про-
изведения распределений двух переменных:
p
(
a, b, c) = 
p
(a)
p
(b | a)
p
(c | b). 
(3.52)
Такая факторизация может существенно уменьшить число параметров, необходи-
мых для описания распределения. Число параметров каждого фактора экспоненци-
ально зависит от числа переменных в нем. Это значит, что стоимость представления 
распределения удастся значительно сократить, если мы сможем разложить его в про-
изведение распределений с меньшим числом переменных.
Подобные факторизации можно описывать с помощью графов; под графом здесь 
понимается множество вершин, некоторые из которых соединены ребрами. Если 
факторизация распределения вероятности представлена в виде графа, то мы называ-
ем его 

Download 14,23 Mb.

Do'stlaringiz bilan baham:
1   ...   81   82   83   84   85   86   87   88   ...   779




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©hozir.org 2024
ma'muriyatiga murojaat qiling

kiriting | ro'yxatdan o'tish
    Bosh sahifa
юртда тантана
Боғда битган
Бугун юртда
Эшитганлар жилманглар
Эшитмадим деманглар
битган бодомлар
Yangiariq tumani
qitish marakazi
Raqamli texnologiyalar
ilishida muhokamadan
tasdiqqa tavsiya
tavsiya etilgan
iqtisodiyot kafedrasi
steiermarkischen landesregierung
asarlaringizni yuboring
o'zingizning asarlaringizni
Iltimos faqat
faqat o'zingizning
steierm rkischen
landesregierung fachabteilung
rkischen landesregierung
hamshira loyihasi
loyihasi mavsum
faolyatining oqibatlari
asosiy adabiyotlar
fakulteti ahborot
ahborot havfsizligi
havfsizligi kafedrasi
fanidan bo’yicha
fakulteti iqtisodiyot
boshqaruv fakulteti
chiqarishda boshqaruv
ishlab chiqarishda
iqtisodiyot fakultet
multiservis tarmoqlari
fanidan asosiy
Uzbek fanidan
mavzulari potok
asosidagi multiservis
'aliyyil a'ziym
billahil 'aliyyil
illaa billahil
quvvata illaa
falah' deganida
Kompyuter savodxonligi
bo’yicha mustaqil
'alal falah'
Hayya 'alal
'alas soloh
Hayya 'alas
mavsum boyicha


yuklab olish