Neyron tarmoq asoslari va uni chuqur o'rganish


AdaDelta. Метод AdaDelta24 – вариант AdaGrad, в котором хранится лишь не-давняя история, а не вся, как в AdaGrad. ADAM



Download 3,8 Mb.
bet68/112
Sana11.06.2022
Hajmi3,8 Mb.
#655828
TuriГлава
1   ...   64   65   66   67   68   69   70   71   ...   112
Bog'liq
2 bo\'lim (2)

AdaDelta. Метод AdaDelta24 – вариант AdaGrad, в котором хранится лишь не-давняя история, а не вся, как в AdaGrad.


ADAM. В методе ADAM (последний по времени алгоритм обновления, разра-ботанный в Торонтском университете) скорость обучения вычисляется на основе оценок первого и второго моментов градиентов.


Регуляризация

Обсудим идею регуляризации глубже, чем в главе. Регуляризация – это способ борьбы с переобучением. Переобучение возникает, когда модель хорошо описы-вает обучающий набор, но не обобщается на новые данные. Переобученные моде-ли не обладают предсказательной способностью для данных, которых не видели раньше. Джеффри Хинтон так описывает наилучший способ построения модели на основе нейронной сети:


Доведите ее до переобучения, а затем зарегуляризируйте до смерти.


Регуляризация помогает изменять градиент, так чтобы не производить шаги





  1. направлениях, ведущих к переобучению. К методам регуляризации относятся следующие:

 прореживание (Dropout);
 прореживание связей (DropConnect);  штраф по норме L1;


 штраф по норме L2.
Методы Dropout и DropConnect скрывают части входных данных на каждом слое, так чтобы нейронная сеть обучалась на других частях. Частичное обнуление данных заставляет сеть обучаться более общим представлениям. Принцип работы регуляризации заключается в прибавлении дополнительного члена к вычислен-ному стандартным способом градиенту.


Прореживание (DropOut). Механизм прореживания25 применяется, чтобы улучшить процесс обучения нейронной сети за счет устранения скрытых блоков. Заодно повышается и скорость обучения. Алгоритм случайным образом выбирает нейроны, которые не будут участвовать ни в прямом, ни в обратном распростра-нении.


Прореживание и усреднение модели

Мы можем также сопоставить прореживание с идеей усреднения выхода нескольких мо-делей. Взяв коэффициент прореживания 0.5, мы получим среднее значение модели. Слу-чайное прореживание признаков – это выборка из 2N возможных архитектур, где N – число параметров.





Download 3,8 Mb.

Do'stlaringiz bilan baham:
1   ...   64   65   66   67   68   69   70   71   ...   112




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©hozir.org 2024
ma'muriyatiga murojaat qiling

kiriting | ro'yxatdan o'tish
    Bosh sahifa
юртда тантана
Боғда битган
Бугун юртда
Эшитганлар жилманглар
Эшитмадим деманглар
битган бодомлар
Yangiariq tumani
qitish marakazi
Raqamli texnologiyalar
ilishida muhokamadan
tasdiqqa tavsiya
tavsiya etilgan
iqtisodiyot kafedrasi
steiermarkischen landesregierung
asarlaringizni yuboring
o'zingizning asarlaringizni
Iltimos faqat
faqat o'zingizning
steierm rkischen
landesregierung fachabteilung
rkischen landesregierung
hamshira loyihasi
loyihasi mavsum
faolyatining oqibatlari
asosiy adabiyotlar
fakulteti ahborot
ahborot havfsizligi
havfsizligi kafedrasi
fanidan bo’yicha
fakulteti iqtisodiyot
boshqaruv fakulteti
chiqarishda boshqaruv
ishlab chiqarishda
iqtisodiyot fakultet
multiservis tarmoqlari
fanidan asosiy
Uzbek fanidan
mavzulari potok
asosidagi multiservis
'aliyyil a'ziym
billahil 'aliyyil
illaa billahil
quvvata illaa
falah' deganida
Kompyuter savodxonligi
bo’yicha mustaqil
'alal falah'
Hayya 'alal
'alas soloh
Hayya 'alas
mavsum boyicha


yuklab olish