O'quv yili: 2021-2022, Semestr: 6-semestr, Mutaxassislik

Qadam funktsiyasi

SIGMOIDA

Giperbolik tangens funktsiyasi

Chiziqli rektifikator funktsiyasi

O'rganish (yoki mashq qilish) bu og'irlikni optimallashtirish jarayoni bo'lib, unda taxmin qilish xatosi minimallashtiriladi va tarmoq kerakli aniqlik darajasiga etadi. Har bir neyronning xatosiga hissa qo'shishda aniqlashning eng ko'p ishlatiladigan usuli bu gradientni hisoblashda foydalaniladigan xatolarning orqaga qaytishidir. Bu gradient tushirish usulini o'zgartirishlardan biridir.
Qo'shimcha yashirin qatlamlar yordamida tizimni yanada moslashuvchan va kuchli qilish mumkin. Ko'p yashirin qatlamlarga ega bo'lgan SNTlarga chuqur neyron tarmoqlari (DNN) deyiladi; ular murakkab nochiziqli munosabatlarni yaratadilar.
O'zlarini NLP vazifalarida yaxshi ko'rsatgan va foydalanish uchun tavsiya etilgan mashhur neyron tarmoq arxitekturasini ko'rib chiqing.

1. 
   Ko'p qatlamli perseptron
   

Perceptron
Ko'p qatlamli in'ikos 3 yoki undan ko'p qatlamlardan iborat. Ko'pincha chiziqli bo'lmagan aktivizatsiya funktsiyasidan foydalanadi, ko'pincha tangensial yoki logistik, bu chiziqsiz ajralmas ma'lumotlarni tasniflashga imkon beradi. Qatlamdagi har bir tugun keyingi tarmoqdagi har bir tugunga ulanadi va tarmoq to'liq ulanadi. Ushbu arxitektura nutqni aniqlash va mashinani tarjima qilish vazifalarida dasturni topadi.

2. 
   Konvolyutsion neyron tarmog'i
   

Konvolyutsion neyron tarmog'i (Convolutional neural network - CNN) bir yoki bir nechta biriktirilgan yoki ulangan konvulsion qatlamlarni o'z ichiga oladi. CNN yuqorida muhokama qilingan ko'p qatlamli in'ikosning o'zgarishini ishlatadi. Konvolyutsion qatlamlar kirish ma'lumotlarida konvolyutsiya operatsiyasidan foydalanadi va natijani keyingi qatlamga o'tkazadi. Ushbu operatsiya tarmoqqa kamroq parametrlar bilan chuqurroq kirishga imkon beradi.
Konvolyutsion tarmoqlar rasm va nutq dasturlarida juda yaxshi ishlaydi. Hukmni tasniflash uchun konvolyutsion neyron tarmoqlarida muallif CNN matn tasniflash vazifalarining jarayoni va natijalarini tavsiflaydi. Hujjat word2vec-ga asoslangan modelni taqdim etadi, u eksperimentlar o'tkazadi, bir nechta mezonlar bo'yicha sinovlarni o'tkazadi va ajoyib natijalarni namoyish etadi.
Scratch-dan matnni tushunishda mualliflar shuni ko'rsatadiki, konvulsion tarmoq hatto inson tiliga xos bo'lgan so'zlar, jumlalar va boshqa har qanday sintaktik yoki semantik tuzilmalarni bilmasdan ham ajoyib natijalarga erishadi. Semantik tahlil, iboralarni qidirish, nutqni aniqlash ham CNN dasturidir. 3. Rekursiv neyron tarmoq

Rekursiv neyron tarmog'i - bu strukturani topologik tartibda faollashtirish orqali o'zgaruvchan o'lchamdagi kirish strukturasi bo'yicha skalyar yoki tuzilgan bashorat qilish uchun tuzilish bo'yicha bir xil og'irliklarni rekursiv ravishda qo'llash orqali hosil bo'lgan chuqur neyron tarmoq. Eng oddiy arxitekturada, tugunlarni ota-ona ob'ektlariga birlashtirish uchun tanangensiv faollashtirish funktsiyasi va butun tarmoq tomonidan taqsimlangan og'irlik matritsasi kabi chiziqli emas.

4.