Я. Гудфеллоу, И. Бенджио, А. Курвилль


x ),  либо умеет производить выборку из него. Многие варианты ICA знают только, как  выполнить преобразование между  x



Download 14,23 Mb.
Pdf ko'rish
bet507/779
Sana14.06.2022
Hajmi14,23 Mb.
#671946
TuriКнига
1   ...   503   504   505   506   507   508   509   510   ...   779
Bog'liq
Гудфеллоу Я , Бенджио И , Курвилль А Глубокое обучение

x
), 
либо умеет производить выборку из него. Многие варианты ICA знают только, как 
выполнить преобразование между 
x
и 
h
, но не имеют средств для представления 
p
(
h
), 
а потому не подразумевают никакого конкретного распределения 
p
(
x
). Так, во мно-
гих вариантах ICA ставится цель увеличить куртозис 
h

W
–1
x
, поскольку высокий 
куртозис является признаком негауссовости 
p
(
h
), но этой цели можно достичь и без 
явного представления 
p
(
h
). Дело в том, что ICA чаще используется как аналитиче-
ский инструмент для разделения сигналов, а не для порождения данных или оценки 
плотности.
Как PCA можно обобщить на нелинейные автокодировщики, описанные в гла-
ве 14, так и ICA обобщается на нелинейные порождающие модели, в которых для 
генерации наблюдаемых данных используется нелинейная функция 
f
. Первой ра-
ботой по нелинейному ICA была статья Hyv
ä
rinen and Pajunen (1999), а его успеш-
ное применение к ансамблевому обучению описано в работах Roberts and Everson 
(2001) и Lappalainen et al. (2000). Еще одно нелинейное обобщение ICA – 
нели-
нейное оценивание независимых компонент
(nonlinear independent components 
estimation – NICE) (Dinh et al., 2014), когда строится последовательность обра-
тимых преобразований (ступеней кодировщика), обладающая тем свойством, что 
определитель матрицы Якоби каждого преобразования допускает эффективное вы-
числение. Это позволяет точно вычислить правдоподобие; как и ICA, NICE пыта-
ется преобразовать данные в пространство, где они имеют факторизованное марги-
нальное распределение, но теперь, благодаря нелинейности кодировщика, шансов 
на успех этого предприятия больше. Поскольку с кодировщиком ассоциирован де-
кодер, являющийся его точным обращением, то выборка из модели не представляет 
никаких трудностей (нужно сначала произвести выборку из 
p
(
h
), а затем приме-
нить декодер).
Еще одно обобщение ICA – обучение групп признаков, когда статистическая за-
висимость допускается внутри группы, но запрещается между группами (Hyv
ä
rinen 
and Hoyer, 1999; Hyv
ä
rinen et al., 2001b). Если выбираются непересекающиеся груп-


Анализ медленных признаков 


Download 14,23 Mb.

Do'stlaringiz bilan baham:
1   ...   503   504   505   506   507   508   509   510   ...   779




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©hozir.org 2024
ma'muriyatiga murojaat qiling

kiriting | ro'yxatdan o'tish
    Bosh sahifa
юртда тантана
Боғда битган
Бугун юртда
Эшитганлар жилманглар
Эшитмадим деманглар
битган бодомлар
Yangiariq tumani
qitish marakazi
Raqamli texnologiyalar
ilishida muhokamadan
tasdiqqa tavsiya
tavsiya etilgan
iqtisodiyot kafedrasi
steiermarkischen landesregierung
asarlaringizni yuboring
o'zingizning asarlaringizni
Iltimos faqat
faqat o'zingizning
steierm rkischen
landesregierung fachabteilung
rkischen landesregierung
hamshira loyihasi
loyihasi mavsum
faolyatining oqibatlari
asosiy adabiyotlar
fakulteti ahborot
ahborot havfsizligi
havfsizligi kafedrasi
fanidan bo’yicha
fakulteti iqtisodiyot
boshqaruv fakulteti
chiqarishda boshqaruv
ishlab chiqarishda
iqtisodiyot fakultet
multiservis tarmoqlari
fanidan asosiy
Uzbek fanidan
mavzulari potok
asosidagi multiservis
'aliyyil a'ziym
billahil 'aliyyil
illaa billahil
quvvata illaa
falah' deganida
Kompyuter savodxonligi
bo’yicha mustaqil
'alal falah'
Hayya 'alal
'alas soloh
Hayya 'alas
mavsum boyicha


yuklab olish