Я. Гудфеллоу, И. Бенджио, А. Курвилль



Download 14,23 Mb.
Pdf ko'rish
bet203/779
Sana14.06.2022
Hajmi14,23 Mb.
#671946
TuriКнига
1   ...   199   200   201   202   203   204   205   206   ...   779
Bog'liq
Гудфеллоу Я , Бенджио И , Курвилль А Глубокое обучение

w

h

b
), 
(6.19)
где 
σ
логистическая сигмоида, описанная в разделе 3.10.
Можно считать, что сигмоидный выходной блок состоит из двух компонентов. Во-
первых, в нем есть линейный слой, вычисляющий 
z

w

h

b
, а во-вторых, сигмоид-
ная функция активации, преобразующая 
z
в вероятность.


162 

 
Глубокие сети прямого распространения 
На время забудем о зависимости от 
x
и обсудим, как определить распределение 
вероятности 
y
, используя значение 
z
. Применение сигмоиды оправдывается возмож-
ностью получить ненормированное распределение вероятности 
P
~(
y
), сумма которого 
не равна 1. Затем мы делим на подходящую константу, чтобы получить правильное 
распределение вероятности. Если начать с предположения, что логарифм ненорми-
рованных вероятностей линейно зависит от 
y
и 
z
, то можно выполнить потенцирова-
ние и получить сами ненормированные вероятности. После нормировки получается 
распределение Бернулли, управляемое сигмоидным преобразованием 
z
:
log
P
~(
y
) = 
yz

(6.20)
P
~(
y
) = exp(
yz
), 
(6.21)
(6.22)
P
(
y
) = 
σ
((2
y
– 1)
z
). 
(6.23)
Распределения вероятности, основанные на потенцировании и нормировке, часто 
встречаются в литературе по статистическому моделированию. Переменная 
z
, опре-
деляющая такое распределение бинарных величин, называется 
логит
.
Этот подход к предсказанию вероятностей в логарифмическом пространстве есте-
ственно использовать в сочетании с обучением на основе максимального правдопо-
добия. Поскольку в этом случае используется функция стоимости –log 
P
(
y

x
), вхо-
дящий в нее логарифм компенсирует экспоненту в сигмоиде. Не будь этого эффекта, 
насыщение сигмоиды могло бы помешать градиентному обучению. Функция потерь 
для обучения параметризованного сигмоидой распределения Бернулли методом 
максимального правдоподобия имеет вид:
J
(

Download 14,23 Mb.

Do'stlaringiz bilan baham:
1   ...   199   200   201   202   203   204   205   206   ...   779




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©hozir.org 2024
ma'muriyatiga murojaat qiling

kiriting | ro'yxatdan o'tish
    Bosh sahifa
юртда тантана
Боғда битган
Бугун юртда
Эшитганлар жилманглар
Эшитмадим деманглар
битган бодомлар
Yangiariq tumani
qitish marakazi
Raqamli texnologiyalar
ilishida muhokamadan
tasdiqqa tavsiya
tavsiya etilgan
iqtisodiyot kafedrasi
steiermarkischen landesregierung
asarlaringizni yuboring
o'zingizning asarlaringizni
Iltimos faqat
faqat o'zingizning
steierm rkischen
landesregierung fachabteilung
rkischen landesregierung
hamshira loyihasi
loyihasi mavsum
faolyatining oqibatlari
asosiy adabiyotlar
fakulteti ahborot
ahborot havfsizligi
havfsizligi kafedrasi
fanidan bo’yicha
fakulteti iqtisodiyot
boshqaruv fakulteti
chiqarishda boshqaruv
ishlab chiqarishda
iqtisodiyot fakultet
multiservis tarmoqlari
fanidan asosiy
Uzbek fanidan
mavzulari potok
asosidagi multiservis
'aliyyil a'ziym
billahil 'aliyyil
illaa billahil
quvvata illaa
falah' deganida
Kompyuter savodxonligi
bo’yicha mustaqil
'alal falah'
Hayya 'alal
'alas soloh
Hayya 'alas
mavsum boyicha


yuklab olish