Qadam funktsiyasi sigmoida giperbolik tangens funktsiyasi Chiziqli rektifikator funktsiyasi

1. Ko'p qatlamli perseptron

Perceptron
Ko'p qatlamli in'ikos 3 yoki undan ko'p qatlamlardan iborat. Ko'pincha chiziqli bo'lmagan aktivizatsiya funktsiyasidan foydalanadi, ko'pincha tangensial yoki logistik, bu chiziqsiz ajralmas ma'lumotlarni tasniflashga imkon beradi. Qatlamdagi har bir tugun keyingi tarmoqdagi har bir tugunga ulanadi va tarmoq to'liq ulanadi. Ushbu arxitektura nutqni aniqlash va mashinani tarjima qilish vazifalarida dasturni topadi.
2. Konvolyutsion neyron tarmog'i

Konvolyutsion neyron tarmog'i (Convolutional neural network - CNN) bir yoki bir nechta biriktirilgan yoki ulangan konvulsion qatlamlarni o'z ichiga oladi. CNN yuqorida muhokama qilingan ko'p qatlamli in'ikosning o'zgarishini ishlatadi. Konvolyutsion qatlamlar kirish ma'lumotlarida konvolyutsiya operatsiyasidan foydalanadi va natijani keyingi qatlamga o'tkazadi. Ushbu operatsiya tarmoqqa kamroq parametrlar bilan chuqurroq kirishga imkon beradi.
Konvolyutsion tarmoqlar rasm va nutq dasturlarida juda yaxshi ishlaydi. Hukmni tasniflash uchun konvolyutsion neyron tarmoqlarida muallif CNN matn tasniflash vazifalarining jarayoni va natijalarini tavsiflaydi. Hujjat word2vec-ga asoslangan modelni taqdim etadi, u eksperimentlar o'tkazadi, bir nechta mezonlar bo'yicha sinovlarni o'tkazadi va ajoyib natijalarni namoyish etadi.
Scratch-dan matnni tushunishda mualliflar shuni ko'rsatadiki, konvulsion tarmoq hatto inson tiliga xos bo'lgan so'zlar, jumlalar va boshqa har qanday sintaktik yoki semantik tuzilmalarni bilmasdan ham ajoyib natijalarga erishadi. Semantik tahlil, iboralarni qidirish, nutqni aniqlash ham CNN dasturidir.
3. Rekursiv neyron tarmoq

Rekursiv neyron tarmog'i - bu strukturani topologik tartibda faollashtirish orqali o'zgaruvchan o'lchamdagi kirish strukturasi bo'yicha skalyar yoki tuzilgan bashorat qilish uchun tuzilish bo'yicha bir xil og'irliklarni rekursiv ravishda qo'llash orqali hosil bo'lgan chuqur neyron tarmoq. Eng oddiy arxitekturada, tugunlarni ota-ona ob'ektlariga birlashtirish uchun tanangensiv faollashtirish funktsiyasi va butun tarmoq tomonidan taqsimlangan og'irlik matritsasi kabi chiziqli emas.