Я. Гудфеллоу, И. Бенджио, А. Курвилль



Download 14,23 Mb.
Pdf ko'rish
bet225/779
Sana14.06.2022
Hajmi14,23 Mb.
#671946
TuriКнига
1   ...   221   222   223   224   225   226   227   228   ...   779
Bog'liq
Гудфеллоу Я , Бенджио И , Курвилль А Глубокое обучение

Рис. 6.6 

Влияние глубины. Эмпирические результаты показывают, что 
более глубокие сети лучше обобщаются в задаче распознавания несколь-
ких цифр на фотографиях адресов. Данные взяты из работы Goodfellow et 
al. (2014d). Верность на тестовом наборе монотонно растет при увеличении 
глубины. На рис. 6.7 приведены результаты контрольного эксперимента, 
показывающие, что увеличение других размерных характеристик модели 
не дает такого же эффекта
6.4.2. Другие архитектурные подходы
До сих пор мы описывали нейронную сеть как состоящую из простой цепочки слоев, 
а основными параметрами были глубина сети и ширина каждого слоя. На практике 
нейронные сети куда более разнообразны.
Многие архитектуры нейронных сетей разрабатывались под конкретные задачи. 
В главе 9 описаны сверточные сети – специальные архитектуры, применяемые в за-
дачах компьютерного зрения. Сети прямого распространения также обобщаются на 
рекуррентные нейронные сети для обработки последовательностей (глава 10), у ко-
торых имеются собственные архитектурные особенности.


178 

 
Глубокие сети прямого распространения 
Число параметров
×
10
8
3, сверточная
3, полносвязная
11, сверточная
Верность 
на 
тестовом 
наборе 
(в процентах)
97
96
95
94
93
92
91
0,0
0,2
0,4
0,6
0,8
1,0
Рис. 6.7 

Влияние числа параметров. Более глубокие модели обычно 
работают лучше. Но это не просто потому, что модель больше. Экспери-
мент, описанный в работе Goodfellow et al. (2014d), показывает, что уве-
личение числа параметров в слоях сверточной сети, не сопровождаемое 
увеличением ее глубины, далеко не так эффективно с точки зрения обоб-
щения на тестовый набор. В надписях на рисунке указана глубина сети, со-
ответствующей каждой кривой, и что именно отражает кривая: изменение 
размера сверточных или полносвязных слоев. Мы видим, что мелкие мо-
дели в этом контексте оказываются переобучены, когда число параметров 
составляет примерно 20 миллионов, а качество глубоких продолжает улуч-
шаться вплоть до числа параметров порядка 60 миллионов. Это позволяет 
предположить, что глубокая модель выражает полезную гипотезу о прост-
ранстве обучаемых ей функций, а именно она выражает веру в то, функ-
ция должна быть образована композицией многих более простых функций. 
Результатом может быть либо обучение представления, составленного из 
более простых представлений (например, углы, определяемые в терминах 
границ), либо обучение программы, состоящей из последовательных зави-
симых друг от друга шагов (например, сначала найти множество объектов, 
затем сегментировать их, отделив друг от друга, и потом распознать их)
В общем случае слои необязательно должны быть соединены в цепочку, хотя это наи-
более распространенная практика. Во многих архитектурах строится главная цепочка, 
а затем на нее накладываются специальные свойства, например прямые связи (skip con-
nections), ведущие от слоя 
i
к слою 
i
+ 2 и выше. Благодаря таким связям упрощается 
распространение градиента от выходных слоев к слоям, расположенным ближе к входу.
Еще один ключевой архитектурный вопрос – как именно соединяются между собой 
пары слоев. В стандартном слое нейронной сети, описываемом матрицей линейного 
преобразования 
W
, каждый входной блок соединен с каждым выходным. Но во мно-
гих специальных сетях, описываемых в следующих главах, число соединений меньше, 
т. е. каждый блок входного слоя соединен лишь с небольшим подмножеством блоков 
выходного слоя. Такие стратегии позволяют уменьшить число параметров и объем вы-
числений, необходимых для обсчета сети, но зачастую сильно зависят от характера 
задачи. Например, в сверточных сетях (глава 9) применяется особая структура раз-
реженных соединений, весьма эффективная в задачах компьютерного зрения. В этой 
главе трудно дать более конкретный совет касательно архитектуры нейронной сети 
общего вида. В последующих главах мы разработаем архитектурные стратегии для 
частных случаев, доказавшие свою эффективность в различных предметных областях.


Обратное распространение и другие алгоритмы дифференцирования 


Download 14,23 Mb.

Do'stlaringiz bilan baham:
1   ...   221   222   223   224   225   226   227   228   ...   779




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©hozir.org 2024
ma'muriyatiga murojaat qiling

kiriting | ro'yxatdan o'tish
    Bosh sahifa
юртда тантана
Боғда битган
Бугун юртда
Эшитганлар жилманглар
Эшитмадим деманглар
битган бодомлар
Yangiariq tumani
qitish marakazi
Raqamli texnologiyalar
ilishida muhokamadan
tasdiqqa tavsiya
tavsiya etilgan
iqtisodiyot kafedrasi
steiermarkischen landesregierung
asarlaringizni yuboring
o'zingizning asarlaringizni
Iltimos faqat
faqat o'zingizning
steierm rkischen
landesregierung fachabteilung
rkischen landesregierung
hamshira loyihasi
loyihasi mavsum
faolyatining oqibatlari
asosiy adabiyotlar
fakulteti ahborot
ahborot havfsizligi
havfsizligi kafedrasi
fanidan bo’yicha
fakulteti iqtisodiyot
boshqaruv fakulteti
chiqarishda boshqaruv
ishlab chiqarishda
iqtisodiyot fakultet
multiservis tarmoqlari
fanidan asosiy
Uzbek fanidan
mavzulari potok
asosidagi multiservis
'aliyyil a'ziym
billahil 'aliyyil
illaa billahil
quvvata illaa
falah' deganida
Kompyuter savodxonligi
bo’yicha mustaqil
'alal falah'
Hayya 'alal
'alas soloh
Hayya 'alas
mavsum boyicha


yuklab olish