Я. Гудфеллоу, И. Бенджио, А. Курвилль



Download 14,23 Mb.
Pdf ko'rish
bet339/779
Sana14.06.2022
Hajmi14,23 Mb.
#671946
TuriКнига
1   ...   335   336   337   338   339   340   341   342   ...   779
Bog'liq
Гудфеллоу Я , Бенджио И , Курвилль А Глубокое обучение

θ

J
(
θ
0
), 
(8.32)
где 
H
– гессиан 
J
относительно 
θ
, вычисленный в точке 
θ
0
. Основная вычислительная 
трудность при применении обновления Ньютона – вычисление обратного гессиана 
H
–1
. В квазиньютоновских методах (из которых алгоритм BFGS самый известный) 
обратный гессиан аппроксимируется матрицей 
M
t
, которая итеративно уточняется 
в ходе обновлений низкого ранга.
Определение и вывод аппроксимации BFGS приводятся во многих учебниках по 
оптимизации, в т. ч. Luenberger (1984).
После нахождения аппроксимации гессиана 
M
t
направление спуска 
ρ
t
определя-
ется по формуле 
ρ
t

M
t
g
t
. В этом направлении производится линейный поиск для 
определения величины шага 
ε
*
. Окончательное обновление параметров производит-
ся по формуле
θ
t
+1

θ
t

ε
*
ρ
t
.
 
(8.33)
Как и в методе сопряженных градиентов, в алгоритме BFGS производится после-
довательность линейных поисков в направлениях, вычисляемых с учетом информа-
ции второго порядка. Но, в отличие от метода сопряженных градиентов, успех не так 
сильно зависит от того, находит ли линейный поиск точку, очень близкую к истин-
ному минимуму вдоль данного направления. Поэтому BFGS тратит меньше времени 
на уточнение результатов каждого линейного поиска. С другой стороны, BFGS дол-
жен хранить обратный гессиан 
M
, для чего требуется память объема 
O
(
n
2
), поэтому 
BFGS непригоден для современных моделей глубокого обучения, насчитывающих 
мил лионы параметров.

Download 14,23 Mb.

Do'stlaringiz bilan baham:
1   ...   335   336   337   338   339   340   341   342   ...   779




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©hozir.org 2024
ma'muriyatiga murojaat qiling

kiriting | ro'yxatdan o'tish
    Bosh sahifa
юртда тантана
Боғда битган
Бугун юртда
Эшитганлар жилманглар
Эшитмадим деманглар
битган бодомлар
Yangiariq tumani
qitish marakazi
Raqamli texnologiyalar
ilishida muhokamadan
tasdiqqa tavsiya
tavsiya etilgan
iqtisodiyot kafedrasi
steiermarkischen landesregierung
asarlaringizni yuboring
o'zingizning asarlaringizni
Iltimos faqat
faqat o'zingizning
steierm rkischen
landesregierung fachabteilung
rkischen landesregierung
hamshira loyihasi
loyihasi mavsum
faolyatining oqibatlari
asosiy adabiyotlar
fakulteti ahborot
ahborot havfsizligi
havfsizligi kafedrasi
fanidan bo’yicha
fakulteti iqtisodiyot
boshqaruv fakulteti
chiqarishda boshqaruv
ishlab chiqarishda
iqtisodiyot fakultet
multiservis tarmoqlari
fanidan asosiy
Uzbek fanidan
mavzulari potok
asosidagi multiservis
'aliyyil a'ziym
billahil 'aliyyil
illaa billahil
quvvata illaa
falah' deganida
Kompyuter savodxonligi
bo’yicha mustaqil
'alal falah'
Hayya 'alal
'alas soloh
Hayya 'alas
mavsum boyicha


yuklab olish