Я. Гудфеллоу, И. Бенджио, А. Курвилль



Download 14,23 Mb.
Pdf ko'rish
bet358/779
Sana14.06.2022
Hajmi14,23 Mb.
#671946
TuriКнига
1   ...   354   355   356   357   358   359   360   361   ...   779
Bog'liq
Гудфеллоу Я , Бенджио И , Курвилль А Глубокое обучение

9.2. Мотивация
Со сверткой связаны три важные идеи, которые помогают улучшить систему машин-
ного обучения: 
разреженные взаимодействия

разделение параметров
и 
эквивари-
антные представления
. Кроме того, свертка предоставляет средства для работы со 
входами переменного размера. Опишем эти идеи поочередно.


Мотивация 

285
Вход
a
e
i
c
g
w
k
y
b
f
j
d
h
x
l
z
aw + bx +
ey + fz
ew + fx +
iy + jz
bw + cx +
fy + gz
fw + gx +
jy + kz
cw + dx +
gy + hz
gw + hx +
ky + lz
Ядро
Выход
Рис. 9.1 

Пример двумерной свертки без отражения ядра. Выход огра-
ничен только теми позициями, для которых ядро целиком укладывается 
в изображение; в некоторых контекстах такая свертка называется «допусти-
мой». Прямоугольник с указывающими на него стрелками показывает, как 
левый верхний элемент выходного тензора образуется путем применения 
ядра к соответствующей левой верхней области входного тензора
В слоях традиционной нейронной сети применяется умножение на матрицу па-
раметров, в которой взаимодействие между каждым входным и каждым выходным 
блоками описывается отдельным параметром. Это означает, что каждый выходной 
блок взаимодействует c каждым входным блоком. Напротив, в сверточных сетях вза-
имодействия обычно разреженные (это свойство называют еще 
разреженной связ-
ностью
, или разреженными весами). Достигается это за счет того, что ядро меньше 
входа. Например, входное изображение может содержать тысячи или миллионы 
пикселей, но небольшие значимые признаки, например границы, можно обнаружить 
с помощью ядра, охватывающего всего десятки или сотни пикселей. Следователь-
но, нужно хранить меньше параметров, а это снижает требования модели к объему 
памяти и повышает ее статистическую эффективность. Кроме того, для вычисления 
выхода потребуется меньше операций. Все вместе обычно намного повышает эффек-
тивность сети. Если имеется 
m
входов и 
n
выходов, то для умножения матриц нуж-
но 
m
×
n
параметров, и сложность практически используемых алгоритмов составляет 
O
(
m
×
n
) (в расчете на один пример). Если ограничить число соединений с каждым 
выходом величиной 
k
, то потребуется только 
k
×
n
параметров, и сложность составит 
O
(
k
×
n
). Во многих практических приложениях можно получить хорошее качество на 
задаче машинного обучения, когда 
k
на несколько порядков меньше 
m
. Графически 
разреженная связность иллюстрируется на рис. 9.2 и 9.3. В глубокой сверточной сети 
блоки нижних уровней могут косвенно взаимодействовать с большей частью сети, 



Download 14,23 Mb.

Do'stlaringiz bilan baham:
1   ...   354   355   356   357   358   359   360   361   ...   779




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©hozir.org 2024
ma'muriyatiga murojaat qiling

kiriting | ro'yxatdan o'tish
    Bosh sahifa
юртда тантана
Боғда битган
Бугун юртда
Эшитганлар жилманглар
Эшитмадим деманглар
битган бодомлар
Yangiariq tumani
qitish marakazi
Raqamli texnologiyalar
ilishida muhokamadan
tasdiqqa tavsiya
tavsiya etilgan
iqtisodiyot kafedrasi
steiermarkischen landesregierung
asarlaringizni yuboring
o'zingizning asarlaringizni
Iltimos faqat
faqat o'zingizning
steierm rkischen
landesregierung fachabteilung
rkischen landesregierung
hamshira loyihasi
loyihasi mavsum
faolyatining oqibatlari
asosiy adabiyotlar
fakulteti ahborot
ahborot havfsizligi
havfsizligi kafedrasi
fanidan bo’yicha
fakulteti iqtisodiyot
boshqaruv fakulteti
chiqarishda boshqaruv
ishlab chiqarishda
iqtisodiyot fakultet
multiservis tarmoqlari
fanidan asosiy
Uzbek fanidan
mavzulari potok
asosidagi multiservis
'aliyyil a'ziym
billahil 'aliyyil
illaa billahil
quvvata illaa
falah' deganida
Kompyuter savodxonligi
bo’yicha mustaqil
'alal falah'
Hayya 'alal
'alas soloh
Hayya 'alas
mavsum boyicha


yuklab olish