Я. Гудфеллоу, И. Бенджио, А. Курвилль



Download 14,23 Mb.
Pdf ko'rish
bet268/779
Sana14.06.2022
Hajmi14,23 Mb.
#671946
TuriКнига
1   ...   264   265   266   267   268   269   270   271   ...   779
Bog'liq
Гудфеллоу Я , Бенджио И , Курвилль А Глубокое обучение

214 

 
Регуляризация в глубоком обучении 
Время (периоды)
Потеря на обучающем наборе
Потеря на контрольном наборе
Функция потерь 
(отрицательное 
логарифмическое 
правдоподобие)
0,20
0,15
0,10
0,05
0,00
0
50
100
150
200
250
Рис. 7.3 

Кривые обучения, показывающие изменение отрица-
тельного логарифмического правдоподобия со временем (пред-
ставленного в виде количества итераций обучения на наборе дан-
ных, или периодов). В данном случае обучалась maxout-сеть на 
наборе MNIST. Отметим, что целевая функция монотонно убывает, 
но средняя потеря на контрольном наборе в какой-то момент снова 
начинает расти, так что образуется U-образная кривая
Эта стратегия называется 
ранней остановкой
. Пожалуй, это самая распространен-
ная форма регуляризации в машинном обучении. Своей популярностью она обязана 
простоте и эффективности.
Алгоритм 7.1.
Метаалгоритм ранней остановки для определения оптимального 
времени обучения. Эта общая стратегия хорошо работает для широкого круга ал-
горитмов обучения и способов оценки ошибки на контрольном наборе.
Обозначим 
n
число шагов между вычислениями ошибки.
Обозначим 
p
«терпение» – сколько раз разрешается наблюдать ухудшение 
ошибки на контрольном наборе, прежде чем отказаться от продолжения.
Обозначим 
θ
o
начальные параметры.
θ
⟵ 
θ
o
i

0
j

0
v


θ
*

θ
i
*

i
while
j

p

Download 14,23 Mb.

Do'stlaringiz bilan baham:
1   ...   264   265   266   267   268   269   270   271   ...   779




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©hozir.org 2024
ma'muriyatiga murojaat qiling

kiriting | ro'yxatdan o'tish
    Bosh sahifa
юртда тантана
Боғда битган
Бугун юртда
Эшитганлар жилманглар
Эшитмадим деманглар
битган бодомлар
Yangiariq tumani
qitish marakazi
Raqamli texnologiyalar
ilishida muhokamadan
tasdiqqa tavsiya
tavsiya etilgan
iqtisodiyot kafedrasi
steiermarkischen landesregierung
asarlaringizni yuboring
o'zingizning asarlaringizni
Iltimos faqat
faqat o'zingizning
steierm rkischen
landesregierung fachabteilung
rkischen landesregierung
hamshira loyihasi
loyihasi mavsum
faolyatining oqibatlari
asosiy adabiyotlar
fakulteti ahborot
ahborot havfsizligi
havfsizligi kafedrasi
fanidan bo’yicha
fakulteti iqtisodiyot
boshqaruv fakulteti
chiqarishda boshqaruv
ishlab chiqarishda
iqtisodiyot fakultet
multiservis tarmoqlari
fanidan asosiy
Uzbek fanidan
mavzulari potok
asosidagi multiservis
'aliyyil a'ziym
billahil 'aliyyil
illaa billahil
quvvata illaa
falah' deganida
Kompyuter savodxonligi
bo’yicha mustaqil
'alal falah'
Hayya 'alal
'alas soloh
Hayya 'alas
mavsum boyicha


yuklab olish