Я. Гудфеллоу, И. Бенджио, А. Курвилль



Download 14,23 Mb.
Pdf ko'rish
bet359/779
Sana14.06.2022
Hajmi14,23 Mb.
#671946
TuriКнига
1   ...   355   356   357   358   359   360   361   362   ...   779
Bog'liq
Гудфеллоу Я , Бенджио И , Курвилль А Глубокое обучение

286 

 
Сверточные сети
как показано на рис. 9.4. Это дает сети возможность эффективно описывать сложные 
взаимодействия между многими переменными путем составления из простых строи-
тельных блоков, каждый из которых описывает только разреженные взаимодействия.
Рис. 9.4 

Рецептивное поле блоков в глубоких слоях сверточной сети 
больше рецептивного поля в слоях, близких к поверхности. Этот эффект 
усиливается, если сеть включает такие архитектурные особенности, как 
свертка с шагом (рис. 9.12) или пулинг (раздел 9.3). Это означает, что хотя 
прямые связи в сверточной сети действительно очень разрежены, блоки 
в глубоких слоях могут быть косвенно связаны со всем входным изображе-
нием или с большей его частью 
Под 
разделением параметров
понимают, что один и тот же параметр используется 
в нескольких функциях модели. В традиционной нейронной сети каждый элемент 
мат рицы весов используется ровно один раз при вычислении выхода слоя. Он умно-
жает на один элемент входа, и больше мы к нему никогда не возвращаемся. Вместо 
употребления термина «разделение параметров» можно сказать, что в сети присут-
ствуют 
связанные веса
, поскольку значение веса, примененного к одному входу, 
связано со значением веса, примененного где-то еще. В сверточной нейронной сети 
каждый элемент ядра применяется к каждой позиции входа (за исключением, быть 
может, некоторых граничных пикселей – в зависимости от того, как решено обраба-
тывать границу). Разделение параметров означает, что вместо обучения отдельного 
набора параметров для каждой точки мы должны обучить только один набор. Это 
не влияет на время прямого распространения – оно по-прежнему имеет порядок 
O
(
k
×
n
), – но дополнительно уменьшает требования к объему памяти: достаточно 
хранить 
k
параметров. Напомним, что 
k
обычно на несколько порядков меньше 
m

Поскольку величины 
m
и 
n
приблизительно равны, то 
k
практически несущественно 
по сравнению с 
m
×
n
. Таким образом, свертка многократно эффективнее умножения 
матриц с точки зрения требований к памяти и статистической эффективности. Меха-
низм разделения параметров наглядно изображен на рис. 9.5.
Для иллюстрации практического применения первых двух принципов на рис. 9.6 
показано, что разреженная связность и разделение параметров кардинально улучша-
ют эффективность линейной функции при обнаружении границ в изображении.
В случае свертки специальный вид разделения параметров наделяет слой свой-
ством, которое называется 

Download 14,23 Mb.

Do'stlaringiz bilan baham:
1   ...   355   356   357   358   359   360   361   362   ...   779




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©hozir.org 2024
ma'muriyatiga murojaat qiling

kiriting | ro'yxatdan o'tish
    Bosh sahifa
юртда тантана
Боғда битган
Бугун юртда
Эшитганлар жилманглар
Эшитмадим деманглар
битган бодомлар
Yangiariq tumani
qitish marakazi
Raqamli texnologiyalar
ilishida muhokamadan
tasdiqqa tavsiya
tavsiya etilgan
iqtisodiyot kafedrasi
steiermarkischen landesregierung
asarlaringizni yuboring
o'zingizning asarlaringizni
Iltimos faqat
faqat o'zingizning
steierm rkischen
landesregierung fachabteilung
rkischen landesregierung
hamshira loyihasi
loyihasi mavsum
faolyatining oqibatlari
asosiy adabiyotlar
fakulteti ahborot
ahborot havfsizligi
havfsizligi kafedrasi
fanidan bo’yicha
fakulteti iqtisodiyot
boshqaruv fakulteti
chiqarishda boshqaruv
ishlab chiqarishda
iqtisodiyot fakultet
multiservis tarmoqlari
fanidan asosiy
Uzbek fanidan
mavzulari potok
asosidagi multiservis
'aliyyil a'ziym
billahil 'aliyyil
illaa billahil
quvvata illaa
falah' deganida
Kompyuter savodxonligi
bo’yicha mustaqil
'alal falah'
Hayya 'alal
'alas soloh
Hayya 'alas
mavsum boyicha


yuklab olish