Neyron tarmoq asoslari va uni chuqur o'rganish


Почему СГС называется «стохастическим»?



Download 3,8 Mb.
bet64/112
Sana11.06.2022
Hajmi3,8 Mb.
#655828
TuriГлава
1   ...   60   61   62   63   64   65   66   67   ...   112
Bog'liq
2 bo\'lim (2)

Почему СГС называется «стохастическим»?

Это связано с тем, что градиент вычисляется для одного обучающего примера (или мини-пакета обучающих примеров). Вычисленный градиент – это «зашумленная» аппроксимация истинного градиента, но СГС все же сходится, причем заметно быстрее.


Достоинства СГС – простота реализации и высокая скорость обработки больших наборов данных. Для настройки СГС можно изменять скорость обучения (напри-мер, в рассматриваемом далее методе Adagrad) или использовать информацию второго порядка (т. е. гессиан), как будет показано ниже. Популярность СГС для обучения нейронных сетей объясняется также его устойчивостью к зашумленным обновлениям. Иными словами, построенные с его помощью модели хорошо обоб-щаются.




Другие факторы, влияющие на скорость обучения

Стоит отметить, что на скорость обучения может влиять также применение таких методов, как импульс или RMSProp.




Методы второго порядка

Во всех методах второго порядка вычисляется гессиан или его аппроксимация. Как уже было сказано, мы можем считать гессиан производной якобиана. То есть это матрица вторых производных – «ускорение, а не скорость». Цель гессиана – опи-сать кривизну в каждой точке якобиана. К методам второго порядка относятся:


98  Основания глубоких сетей
 BFGS с ограниченной памятью (L-BFGS)18;  метод сопряженных градиентов19;  безгессианная оптимизация20.

Рассматривайте эти алгоритмы оптимизации как черный ящик, позволяющий найти наилучший путь к минимальной ошибке при заданной целевой функции и способе определения градиента.




Компромиссы при оптимизации

Главное различие между методами первого и второго порядков состоит в том, что методы второго порядка сходятся за меньшее число шагов, но каждый шаг требует большего объ-ема вычислений.




L-BFGS. Алгоритм L-BFGS принадлежит семейству квазиньютоновских ме-тодов. Это вариант алгоритма Бройдена–Флетчера–Гольдфарба–Шанно (BFGS)

  1. ограничением на часть градиента, хранящуюся в памяти. Это значит, что алго-ритм не вычисляет полную матрицу Гессе, что было бы дороже с вычислительной точки зрения.

L-BFGS аппроксимирует обратную матрицу Гессе, чтобы направить поиск весов в наиболее многообещающие области пространства параметров. Если в BFGS хра-нится полная обратная матрица градиента размера n × n, то в L-BFGS от гессиана сохраняется лишь несколько векторов, дающих приближенную информацию вто-рого порядка. На практике L-BFGS и метод сопряженных градиентов могут ока-заться быстрее и устойчивее стохастического градиентного спуска.





Download 3,8 Mb.

Do'stlaringiz bilan baham:
1   ...   60   61   62   63   64   65   66   67   ...   112




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©hozir.org 2024
ma'muriyatiga murojaat qiling

kiriting | ro'yxatdan o'tish
    Bosh sahifa
юртда тантана
Боғда битган
Бугун юртда
Эшитганлар жилманглар
Эшитмадим деманглар
битган бодомлар
Yangiariq tumani
qitish marakazi
Raqamli texnologiyalar
ilishida muhokamadan
tasdiqqa tavsiya
tavsiya etilgan
iqtisodiyot kafedrasi
steiermarkischen landesregierung
asarlaringizni yuboring
o'zingizning asarlaringizni
Iltimos faqat
faqat o'zingizning
steierm rkischen
landesregierung fachabteilung
rkischen landesregierung
hamshira loyihasi
loyihasi mavsum
faolyatining oqibatlari
asosiy adabiyotlar
fakulteti ahborot
ahborot havfsizligi
havfsizligi kafedrasi
fanidan bo’yicha
fakulteti iqtisodiyot
boshqaruv fakulteti
chiqarishda boshqaruv
ishlab chiqarishda
iqtisodiyot fakultet
multiservis tarmoqlari
fanidan asosiy
Uzbek fanidan
mavzulari potok
asosidagi multiservis
'aliyyil a'ziym
billahil 'aliyyil
illaa billahil
quvvata illaa
falah' deganida
Kompyuter savodxonligi
bo’yicha mustaqil
'alal falah'
Hayya 'alal
'alas soloh
Hayya 'alas
mavsum boyicha


yuklab olish