Я. Гудфеллоу, И. Бенджио, А. Курвилль



Download 14,23 Mb.
Pdf ko'rish
bet99/779
Sana14.06.2022
Hajmi14,23 Mb.
#671946
TuriКнига
1   ...   95   96   97   98   99   100   101   102   ...   779
Bog'liq
Гудфеллоу Я , Бенджио И , Курвилль А Глубокое обучение

проверка по второй 
производной
. К сожалению, если 
f
′′
(
x
) = 0, то эта проверка не дает однозначного ре-
зультата. В таком случае 
x
может быть седловой точкой или находиться на плоском 
участке.
В многомерном случае необходимо исследовать все вторые производные функции. 
С помощью спектрального разложения матрицы Гессе мы можем обобщить проверку 
по второй производной на многомерный случай. В критической точке 

x

f
(
x
) = 0, по-
этому путем анализа собственных значений гессиана можно узнать, является ли эта 
точка локальным максимумом, локальным минимумом или седловой точкой. Если 
матрица Гессе положительно определенная (все ее собственные значения положи-
тельны), то это локальный минимум. В этом можно убедиться, заметив, что вторая 
производная по любому направлению должна быть положительна, и сославшись на 
проверку по второй производной в одномерном случае. Аналогично, если матрица 
Гессе отрицательно определенная (все собственные значения отрицательны), точ-
ка является локальным максимумом. В многомерном случае иногда удается найти 
свидетельства в пользу седловой точки. Если имеется хотя бы одно положительное 
и хотя бы одно отрицательное собственное значение, то мы знаем, что 
x
является ло-
кальным максимумом в одном сечении 
f
и локальным минимумом в другом. Пример 
приведен на рис. 4.5. Наконец, проверка по второй производной в многомерном слу-
чае может не давать однозначного результата, как и в одномерном. Так бывает, когда 
все ненулевые собственные значения одного знака, но имеется хотя бы одно нуле-
вое. Неоднозначность возникает из-за недостаточной информативности одномерной 
проверки второй производной в сечении, соответствующем нулевому собственному 
значению.
В многомерном случае в одной точке вторые производные по каждому направле-
нию различны. Число обусловленности матрицы Гессе в точке измеряет степень раз-
личия вторых производных. Если число обусловленности велико, то градиентный 
спуск будет работать плохо. Это объясняется тем, что в одном направлении производ-
ная растет быстро, а в другом медленно. Метод градиентного спуска не в курсе этого 
различия, поэтому не знает, что предпочтительным направлением для исследования 
является то, в котором производная дольше остается отрицательной. Из-за плохого 
числа обусловленности трудно выбрать хорошую величину шага. Шаг должен быть 
достаточно малым, что не пропустить минимум и подниматься вверх во всех направ-
лениях, где кривизна строго положительна. Но обычно это означает, что шаг слишком 
мал для заметного продвижения в направлениях с меньшей кривизной. Пример при-
веден на рис. 4.6.



Download 14,23 Mb.

Do'stlaringiz bilan baham:
1   ...   95   96   97   98   99   100   101   102   ...   779




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©hozir.org 2024
ma'muriyatiga murojaat qiling

kiriting | ro'yxatdan o'tish
    Bosh sahifa
юртда тантана
Боғда битган
Бугун юртда
Эшитганлар жилманглар
Эшитмадим деманглар
битган бодомлар
Yangiariq tumani
qitish marakazi
Raqamli texnologiyalar
ilishida muhokamadan
tasdiqqa tavsiya
tavsiya etilgan
iqtisodiyot kafedrasi
steiermarkischen landesregierung
asarlaringizni yuboring
o'zingizning asarlaringizni
Iltimos faqat
faqat o'zingizning
steierm rkischen
landesregierung fachabteilung
rkischen landesregierung
hamshira loyihasi
loyihasi mavsum
faolyatining oqibatlari
asosiy adabiyotlar
fakulteti ahborot
ahborot havfsizligi
havfsizligi kafedrasi
fanidan bo’yicha
fakulteti iqtisodiyot
boshqaruv fakulteti
chiqarishda boshqaruv
ishlab chiqarishda
iqtisodiyot fakultet
multiservis tarmoqlari
fanidan asosiy
Uzbek fanidan
mavzulari potok
asosidagi multiservis
'aliyyil a'ziym
billahil 'aliyyil
illaa billahil
quvvata illaa
falah' deganida
Kompyuter savodxonligi
bo’yicha mustaqil
'alal falah'
Hayya 'alal
'alas soloh
Hayya 'alas
mavsum boyicha


yuklab olish