Нейронную


  Глава 1. Как работают нейронные сети



Download 43,46 Mb.
Pdf ko'rish
bet64/134
Sana27.03.2022
Hajmi43,46 Mb.
#512313
1   ...   60   61   62   63   64   65   66   67   ...   134
Bog'liq
Создаем нейронную сеть ( PDFDrive )

114 
Глава 1. Как работают нейронные сети


Теперь мы можем разделаться с каждой из этих частей по отдель­
ности. С первой частью мы справимся легко, поскольку для это­
го нужно всего лишь взять простую производную от квадратичной 
функции. В результате получаем:
Со второй частью придется немного повозиться, но и это не вызо­
вет больших затруднений. Здесь 
о к 
— это выходной сигнал узла 
к ,
который, как вы помните, получается в результате применения сиг­
моиды к сигналам, поступающим на данный узел. Для большей яс­
ности запишем это в явном виде:
Здесь 
о . 
— выходной сигнал узла предыдущего скрытого слоя, а не 
выходной сигнал узла последнего слоя.
Как продифференцировать сигмоиду? Мы могли бы это сделать са­
мостоятельно, проведя сложные и трудоемкие вычисления в соответ­
ствии с изложенными в приложении А фундаментальными идеями, 
однако эта работа уже проделана другими людьми. Поэтому мы про­
сто воспользуемся уже известным ответом, как это ежедневно дела­
ют математики по всему миру.
Дифференцирование некоторых функций приводит к выражени­
ям устрашающего вида. В случае же сигмоиды результат получается 
очень простым. Это одна из причин широкого применения сигмоиды 
в качестве функции активации в нейронных сетях.
Как мы фактически обновляем весовые коэффициенты 
115


Используя этот впечатляющий результат, получаем следующее 
выражение:
А откуда взялся последний сомножитель? Это результат приме­
нения цепного правила к производной сигмоиды, поскольку выра­
жение под знаком функции 
с и г м о и д а
() также должно быть продиф­
ференцировано по переменной wjk. Это делается очень просто и дает 
в результате ог
Прежде чем записать окончательный ответ, избавимся от множи­
теля 2 в начале выражения. Мы вправе это сделать, поскольку нас 
интересует только направление градиента функции ошибки, так что 
этот множитель можно безболезненно отбросить. Нам совершенно 
безразлично, какой множитель будет стоять в начале этого выраже­
ния, 2, 3 или даже 100, коль скоро мы всегда будем его игнориро­
вать. Поэтому для простоты избавимся от него.
Окончательное выражение, которое мы будем использовать 
для изменения веса w.k, выглядит так.
Ух ты! У нас все получилось!
Это и есть то магическое выражение, которое мы искали. Оно яв­
ляется ключом к тренировке нейронных сетей.
Проанализируем вкратце это выражение, отдельные части которо­
го выделены цветом. Первая часть, с которой вы уже хорошо знако­
мы, — это ошибка (целевое значение минус фактическое значение).

Download 43,46 Mb.

Do'stlaringiz bilan baham:
1   ...   60   61   62   63   64   65   66   67   ...   134




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©hozir.org 2024
ma'muriyatiga murojaat qiling

kiriting | ro'yxatdan o'tish
    Bosh sahifa
юртда тантана
Боғда битган
Бугун юртда
Эшитганлар жилманглар
Эшитмадим деманглар
битган бодомлар
Yangiariq tumani
qitish marakazi
Raqamli texnologiyalar
ilishida muhokamadan
tasdiqqa tavsiya
tavsiya etilgan
iqtisodiyot kafedrasi
steiermarkischen landesregierung
asarlaringizni yuboring
o'zingizning asarlaringizni
Iltimos faqat
faqat o'zingizning
steierm rkischen
landesregierung fachabteilung
rkischen landesregierung
hamshira loyihasi
loyihasi mavsum
faolyatining oqibatlari
asosiy adabiyotlar
fakulteti ahborot
ahborot havfsizligi
havfsizligi kafedrasi
fanidan bo’yicha
fakulteti iqtisodiyot
boshqaruv fakulteti
chiqarishda boshqaruv
ishlab chiqarishda
iqtisodiyot fakultet
multiservis tarmoqlari
fanidan asosiy
Uzbek fanidan
mavzulari potok
asosidagi multiservis
'aliyyil a'ziym
billahil 'aliyyil
illaa billahil
quvvata illaa
falah' deganida
Kompyuter savodxonligi
bo’yicha mustaqil
'alal falah'
Hayya 'alal
'alas soloh
Hayya 'alas
mavsum boyicha


yuklab olish