Я. Гудфеллоу, И. Бенджио, А. Курвилль


Жадное послойное предобучение без учителя



Download 14,23 Mb.
Pdf ko'rish
bet548/779
Sana14.06.2022
Hajmi14,23 Mb.
#671946
TuriКнига
1   ...   544   545   546   547   548   549   550   551   ...   779
Bog'liq
Гудфеллоу Я , Бенджио И , Курвилль А Глубокое обучение

15.1. Жадное послойное предобучение без учителя
Обучение без учителя сыграло важнейшую роль в воскрешении глубоких нейрон-
ных сетей, позволив исследователям впервые обучить глубокую сеть с учителем, не 
требуя специализации архитектуры, например свертки или рекурсии. Мы называем 
эту процедуру 
предобучением без учителя
, или, если быть точным, 
жадным послой-
ным предобучением без учителя
. Это канонический пример того, как представле-
ние, обучен ное для одной задачи (обучение без учителя, пытающееся уловить форму 
входного распределения), иногда оказывается полезным для другой задачи (обуче-
ние с учителем на том же входном домене).


Жадное послойное предобучение без учителя 

445
Жадное послойное предобучение без учителя опирается на алгоритм обучения од-
нослойного представления, например: ОМБ, однослойный автокодировщик, модель 
разреженного кодирования или еще какая-то модель, обучающая латентные пред-
ставления. Каждый слой предобучается без учителя, получая выход от предыдущего 
слоя и порождая в качестве выхода новое представление данных с предположительно 
более простым распределением (или более простыми связями с другими переменны-
ми, скажем, категориями, которые нужно предсказать).
Процедуры жадного послойного обучения без учителя давно уже используют-
ся, чтобы обойти трудности совместного обучения слоев глубокой нейронной сети 
с учителем. Этот подход восходит еще к неокогнитрону (Fukushima, 1975). Возрож-
дение глубокого обучения в 2006 году началось с открытия, что процедуру жадно-
го обучения можно использовать для отыскания хороших начальных значений для 
процедуры совместного обучения всех слоев, причем так можно с успехом обучать 
даже полносвязные архитектуры (Hinton et al., 2006; Hinton and Salakhutdinov, 2006; 
Hinton, 2006; Bengio et al., 2007; Ranzato et al., 2007a). До этого открытия считалось 
практически возможным обучить только глубокие сверточные сети и сети, своей глу-
биной обязанные рекурсии. Сейчас мы знаем, что для обучения полносвязной глубо-
кой архитектуры необязательно использовать жадное послойное предобучение, но 
это был первый успешный подход.
Жадное послойное предобучение называется 
жадным
, потому что это жадный ал-
горитм, т. е. он оптимизирует каждую часть решения независимо, а не совместно все 
части сразу. Оно называется 
послойным
, потому что этими независимыми частями 
являются слои сети. Точнее говоря, в ходе жадного послойного обучения обрабатыва-
ется по одному слою за раз – во время обучения 
k
-го слоя все остальные фиксирова-
ны. В частности, нижние слои (обучаемые первыми) уже не изменяются после пере-
хода к верхним. В названии процедуры употребляется фраза «

Download 14,23 Mb.

Do'stlaringiz bilan baham:
1   ...   544   545   546   547   548   549   550   551   ...   779




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©hozir.org 2024
ma'muriyatiga murojaat qiling

kiriting | ro'yxatdan o'tish
    Bosh sahifa
юртда тантана
Боғда битган
Бугун юртда
Эшитганлар жилманглар
Эшитмадим деманглар
битган бодомлар
Yangiariq tumani
qitish marakazi
Raqamli texnologiyalar
ilishida muhokamadan
tasdiqqa tavsiya
tavsiya etilgan
iqtisodiyot kafedrasi
steiermarkischen landesregierung
asarlaringizni yuboring
o'zingizning asarlaringizni
Iltimos faqat
faqat o'zingizning
steierm rkischen
landesregierung fachabteilung
rkischen landesregierung
hamshira loyihasi
loyihasi mavsum
faolyatining oqibatlari
asosiy adabiyotlar
fakulteti ahborot
ahborot havfsizligi
havfsizligi kafedrasi
fanidan bo’yicha
fakulteti iqtisodiyot
boshqaruv fakulteti
chiqarishda boshqaruv
ishlab chiqarishda
iqtisodiyot fakultet
multiservis tarmoqlari
fanidan asosiy
Uzbek fanidan
mavzulari potok
asosidagi multiservis
'aliyyil a'ziym
billahil 'aliyyil
illaa billahil
quvvata illaa
falah' deganida
Kompyuter savodxonligi
bo’yicha mustaqil
'alal falah'
Hayya 'alal
'alas soloh
Hayya 'alas
mavsum boyicha


yuklab olish