Я. Гудфеллоу, И. Бенджио, А. Курвилль



Download 14,23 Mb.
Pdf ko'rish
bet449/779
Sana14.06.2022
Hajmi14,23 Mb.
#671946
TuriКнига
1   ...   445   446   447   448   449   450   451   452   ...   779
Bog'liq
Гудфеллоу Я , Бенджио И , Курвилль А Глубокое обучение

362 

 
Практическая методология 
Ошибка обучения
8
7
6
5
4
3
2
1
0
10
–2
10
–1
10
0
Скорость обучения
(в логарифмическом масштабе)
Рис. 11.1 

Типичная зависимость ошибки обучения от скорости обуче-
ния. Обратите внимание на резкое возрастание ошибки, когда скорость 
выше оптимального значения. Это относится к фиксированному времени 
обучения, потому что снижение скорости обучения иногда может всего 
лишь замедлить обучение пропорционально уменьшению скорости. Ошиб-
ка обобщения может описываться этой же кривой или осложняется эффек-
тами регуляризации, возникающими из-за слишком большой или слишком 
малой скорости обучения, поскольку неудачная оптимизация может до 
некоторой степени уменьшить или вообще предотвратить переобучение, 
и даже в точках с одинаковой ошибкой обучения ошибка обобщения может 
различаться
Для настройки параметров, отличных от скорости обучения, необходимо следить 
за ошибкой обучения и тестирования, чтобы понять, является ли модель переобучен-
ной или недообученной, а затем соответственно подкорректировать емкость.
Если ошибка на обучающем наборе выше целевой частоты ошибок, то нет другого 
выбора, кроме как увеличить емкость. Если вы не пользуетесь регуляризацией, но 
уверены в правильности алгоритма оптимизации, то следует увеличить число слоев 
сети или добавить скрытые блоки. К сожалению, это увеличивает вычислительную 
стоимость модели.
Если ошибка на тестовом наборе выше целевой частоты ошибок, то можно посту-
пить двояко. Ошибка тестирования равна сумме ошибки обучения и разрыва между 
ошибкой тестирования и ошибкой обучения. Для нахождения оптимальной ошиб-
ки тестирования нужно сбалансировать эти величины. Нейронные сети обычно ра-
ботают оптимально, когда ошибка обучения очень мала (а потому емкость велика), 
а ошибка тестирования в основном обусловлена разрывом между ошибкой обуче ния 
и тестирования. Ваша цель – уменьшить этот разрыв, не увеличивая ошибку обуче-
ния быстрее, чем сокращается разрыв. Для уменьшения разрыва измените гиперпара-
метры регуляризации, так чтобы уменьшить эффективную емкость модели, например 
добавьте прореживание или снижение весов. Обычно наилучшее качество достигает-
ся для большой хорошо регуляризированной (например, с помощью прореживания) 
модели.
Большинство гиперпараметров можно задать, поняв, увеличивают они емкость мо-
дели или уменьшают. В табл. 11.1 приведено несколько примеров.


Выбор гиперпараметров 


Download 14,23 Mb.

Do'stlaringiz bilan baham:
1   ...   445   446   447   448   449   450   451   452   ...   779




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©hozir.org 2024
ma'muriyatiga murojaat qiling

kiriting | ro'yxatdan o'tish
    Bosh sahifa
юртда тантана
Боғда битган
Бугун юртда
Эшитганлар жилманглар
Эшитмадим деманглар
битган бодомлар
Yangiariq tumani
qitish marakazi
Raqamli texnologiyalar
ilishida muhokamadan
tasdiqqa tavsiya
tavsiya etilgan
iqtisodiyot kafedrasi
steiermarkischen landesregierung
asarlaringizni yuboring
o'zingizning asarlaringizni
Iltimos faqat
faqat o'zingizning
steierm rkischen
landesregierung fachabteilung
rkischen landesregierung
hamshira loyihasi
loyihasi mavsum
faolyatining oqibatlari
asosiy adabiyotlar
fakulteti ahborot
ahborot havfsizligi
havfsizligi kafedrasi
fanidan bo’yicha
fakulteti iqtisodiyot
boshqaruv fakulteti
chiqarishda boshqaruv
ishlab chiqarishda
iqtisodiyot fakultet
multiservis tarmoqlari
fanidan asosiy
Uzbek fanidan
mavzulari potok
asosidagi multiservis
'aliyyil a'ziym
billahil 'aliyyil
illaa billahil
quvvata illaa
falah' deganida
Kompyuter savodxonligi
bo’yicha mustaqil
'alal falah'
Hayya 'alal
'alas soloh
Hayya 'alas
mavsum boyicha


yuklab olish