Я. Гудфеллоу, И. Бенджио, А. Курвилль



Download 14,23 Mb.
Pdf ko'rish
bet430/779
Sana14.06.2022
Hajmi14,23 Mb.
#671946
TuriКнига
1   ...   426   427   428   429   430   431   432   433   ...   779
Bog'liq
Гудфеллоу Я , Бенджио И , Курвилль А Глубокое обучение

10.9.3. Удаление связей
Еще один подход к обработке долгосрочных зависимостей – организация состояния 
РНС в нескольких временных масштабах (El Hihi and Bengio, 1996) с целью упрос-
тить протекание информации на большое расстояние в более медленном масштабе.
Эта идея отличается от прямых связей сквозь время, поскольку подразумевается 
активное 
удаление
связей длины 1 и замена их более длинными. Модифицирован-
ные таким способом блоки вынуждены работать в более протяженном временном 
масштабе. Прямые связи 
добавляют
ребра. Блоки, получившие новые связи, могут 
обучить ся работе в протяженном временном масштабе, но могут поступить и наобо-
рот, предпочтя другие, более короткие связи.
Есть несколько способов принудить группу рекуррентных блоков к работе в раз-
ных временных масштабах. Один из них – сделать рекуррентные блоки протекаю-
щими, но ассоциировать разные группы блоков с разными фиксированными времен-
ными маштабами. Эта идея предложена в работе Mozer (1992) и успешно воплощена 
в работе Pascanu et al. (2013). Другой способ – производить явные дискретные обнов-
ления в разные моменты времени с разной частотой для разных групп блоков. Этот 
подход применен в работах El Hihi and Bengio (1996) и Koutnik et al. (2014). Он по-
казал хорошие результаты на ряде эталонных наборов данных.
10.10. Долгая краткосрочная память 
и другие вентильные РНС
На момент написания книги самыми эффективными моделями последовательностей 
в практических приложениях были 
вентильные РНС
(gated RNN). К ним относятся 
долгая краткосрочная память
(long short-term memory – LSTM) и сети, основанные 
на вентильных рекуррентных блоках.
Как и блоки с утечкой, вентильные РНС основаны на идее прокладывания таких 
путей сквозь время, на которых производные не обнуляются и не устремляются резко 
вверх. В случае блоков с утечкой это достигалось с помощью весов связей – посто-
янных, задаваемых вручную или являющихся параметрами. Вентильные РНС обоб-
щают эту идею на веса связей, которые могут изменяться на каждом временном шаге.


Долгая краткосрочная память и другие вентильные РНС 

345
Блоки с утечкой позволяют сети 
накапливать
информацию (например, свидетель-
ства в пользу конкретного признака или категории) на протяжении длительного вре-
мени. Но иногда полезно, чтобы после использования этой информации нейронная 
сеть забыла старое состояние. Например, если последовательность состоит из под-
последовательностей и мы хотим, чтобы блок с утечкой накапливал свидетельства 
внутри каждой подпоследовательности, то необходим механизм забывания старого 
состояния – сброса его в нуль. И хорошо бы, чтобы нейронная сеть обучилась, когда 
это нужно делать, не обременяя нас принятием решения. Именно для этого и предна-
значены вентильные РНС.

Download 14,23 Mb.

Do'stlaringiz bilan baham:
1   ...   426   427   428   429   430   431   432   433   ...   779




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©hozir.org 2024
ma'muriyatiga murojaat qiling

kiriting | ro'yxatdan o'tish
    Bosh sahifa
юртда тантана
Боғда битган
Бугун юртда
Эшитганлар жилманглар
Эшитмадим деманглар
битган бодомлар
Yangiariq tumani
qitish marakazi
Raqamli texnologiyalar
ilishida muhokamadan
tasdiqqa tavsiya
tavsiya etilgan
iqtisodiyot kafedrasi
steiermarkischen landesregierung
asarlaringizni yuboring
o'zingizning asarlaringizni
Iltimos faqat
faqat o'zingizning
steierm rkischen
landesregierung fachabteilung
rkischen landesregierung
hamshira loyihasi
loyihasi mavsum
faolyatining oqibatlari
asosiy adabiyotlar
fakulteti ahborot
ahborot havfsizligi
havfsizligi kafedrasi
fanidan bo’yicha
fakulteti iqtisodiyot
boshqaruv fakulteti
chiqarishda boshqaruv
ishlab chiqarishda
iqtisodiyot fakultet
multiservis tarmoqlari
fanidan asosiy
Uzbek fanidan
mavzulari potok
asosidagi multiservis
'aliyyil a'ziym
billahil 'aliyyil
illaa billahil
quvvata illaa
falah' deganida
Kompyuter savodxonligi
bo’yicha mustaqil
'alal falah'
Hayya 'alal
'alas soloh
Hayya 'alas
mavsum boyicha


yuklab olish