Qadam funktsiyasi sigmoida giperbolik tangens funktsiyasi Chiziqli rektifikator funktsiyasi

Sun'iy neyron tarmog'i (SNT) - bu faqat misollar ko'rib chiqish orqali tasniflash, bashorat qilish, qarorlarni qabul qilish, vizualizatsiya va boshqa ba'zi narsalarni bajarishni o'rganishga qodir miyaning neyronik tuzilishiga asoslangan hisoblashsiz chiziqli model.
Har qanday SNT arxitekturasi sun'iy neyronlardan iborat - ular bir-biriga bog'langan 3 qatlamli tuzilishga ega bo'lgan ishlov berish elementlaridan iborat: kirish bir yoki bir nechta yashirin qatlamlardan va chiqishlardan iborat.
Kirish qatlami ma'lumotlarni yashirin so'zlarga uzatuvchi kirish neyronlaridan iborat. Yashirin qavat, o'z navbatida, ma'lumotlarni ma'lumotga uzatadi. Har bir neyronning vazni bo'lgan kirishlar mavjud - sinapslar, berilgan kirish uchun chiqish ma'lumotlarini va bitta chiqishni aniqlaydigan faollashtirish funktsiyasi. Sinapslar - bu neyron tarmoqni parametrlashtirilgan tizimga aylantiradigan sozlanadigan parametrlar.

4 kirishli sun'iy neyron tarmoq
Faollashtirish funktsiyasi
Kirishlarning og'irlik yig'indisi - aktivizatsiya signali - neyrondan ma'lumotlarni chiqarish uchun faollashtirish funktsiyasidan o'tadi. Faollashtirish funktsiyasining bir necha turlari mavjud: chiziqli, qadam, sigmasimon, tanangensial, rektifikatsiya qilingan (chiziqli birlik, ReLu).
Chiziqli funktsiya
f(x)=ax

Qadam funktsiyasi


SIGMOIDA


Giperbolik tangens funktsiyasi


Chiziqli rektifikator funktsiyasi


O'rganish (yoki mashq qilish) bu og'irlikni optimallashtirish jarayoni bo'lib, unda taxmin qilish xatosi minimallashtiriladi va tarmoq kerakli aniqlik darajasiga etadi. Har bir neyronning xatosiga hissa qo'shishda aniqlashning eng ko'p ishlatiladigan usuli bu gradientni hisoblashda foydalaniladigan xatolarning orqaga qaytishidir. Bu gradient tushirish usulini o'zgartirishlardan biridir.
Qo'shimcha yashirin qatlamlar yordamida tizimni yanada moslashuvchan va kuchli qilish mumkin. Ko'p yashirin qatlamlarga ega bo'lgan SNTlarga chuqur neyron tarmoqlari (DNN) deyiladi; ular murakkab nochiziqli munosabatlarni yaratadilar.
O'zlarini NLP vazifalarida yaxshi ko'rsatgan va foydalanish uchun tavsiya etilgan mashhur neyron tarmoq arxitekturasini ko'rib chiqing.