4 Ma’ruza Sun'iy neyron tarmoqlar (snt) ning tasnifi va ishlash tamoyillari

Afzalliklar
• Tasvirni aniqlash va tasniflashning eng yaxshi algoritmlaridan biri.
• Toʻliq bogʻlangan neyron tarmoq (masalan, perseptron) bilan solishtirganda - maxsus ogʻirliklar soni ancha kichik, chunki kirish tasvirining har bir pikseli uchun shaxsiy vazn koeffitsientlarini yaratish oʻrniga bitta vazn yadrosi butun tasvir uchun toʻliq ishlatiladi. Bu neyron tarmoqni o'rganayotganda ko'rsatilgan ma'lumotni umumlashtirishga majbur qiladi va har bir ko'rsatilgan rasmni idrok etuvchi kabi piksel-piksel bo'yicha ko'p sonli og'irlik koeffitsientlarida eslab qolmaydi.
• Hisob-kitoblarni qulay parallellashtirish, demak, GPUlarda tarmoqni ishlatish va o'qitish algoritmlarini amalga oshirish imkoniyati.
• Tan olingan tasvirning aylanishi va siljishiga nisbatan nisbiy qarshilik.
• Klassik orqaga tarqalish usulidan foydalangan holda trening.
Kamchiliklar
• O'zgaruvchan tarmoq parametrlarining juda ko'pligi; qanday vazifa va hisoblash quvvati uchun qanday sozlamalar kerakligi aniq emas. Shunday qilib, o'zgaruvchan parametrlarga quyidagilar kiradi: qatlamlar soni, qatlamlarning har biri uchun konvolyutsiya yadrosining o'lchami, qatlamlarning har biri uchun yadrolar soni, qatlamni qayta ishlashda yadroning siljishi bosqichi, qatlamlarning pastki namunalariga bo'lgan ehtiyoj, ular tomonidan o'lchamlarni qisqartirish darajasi, o'lchamni kamaytirish funktsiyasi (maksimal, o'rtacha va boshqalarni tanlash), neyronlarning uzatish funktsiyasi, konvolyutsion chiqishda to'liq bog'langan neyron tarmog'ining chiqishi va parametrlari. . Bu parametrlarning barchasi natijaga sezilarli ta'sir qiladi, ammo tadqiqotchilar tomonidan empirik tarzda tanlanadi. Bir nechta yaxshi tashkil etilgan va mukammal ishlaydigan tarmoq konfiguratsiyasi mavjud, ammo yangi vazifa uchun tarmoqni qanday qurish bo'yicha tavsiyalar etarli emas.
6 Takroriy neyron tarmoqlari
Takroriy neyron tarmoqlar (RNS, eng. Recurrent neural network; RNN) - elementlar orasidagi bog'lanishlar yo'naltirilgan ketma-ketlikni tashkil etadigan neyron tarmoqlarning bir turi. Bu vaqt yoki ketma-ket fazoviy zanjirlarda bir qator hodisalarni qayta ishlash imkonini beradi. Ko'p qatlamli perseptronlardan farqli o'laroq, takroriy tarmoqlar o'zlarining ichki xotirasidan ixtiyoriy uzunlikdagi ketma-ketliklarni qayta ishlash uchun foydalanishi mumkin. Shuning uchun RNNlar integral narsa qismlarga bo'lingan bunday vazifalarda qo'llaniladi, masalan: qo'l yozuvini aniqlash[1] yoki nutqni aniqlash[2][3]. Takroriy tarmoqlar uchun oddiydan murakkabgacha bo'lgan ko'plab turli me'moriy echimlar taklif qilingan. So'nggi paytlarda uzoq muddatli va qisqa muddatli xotira tarmog'i (LSTM) va boshqariladigan takroriy birlik (GRU) eng keng tarqalgan.


Tarix
Jon Xopfild 1982 yilda Xopfild tarmog'ini taklif qildi. 1993 yilda tarixiy ma'lumotlarni saqlash va siqish uchun neyron tizimi takrorlanuvchi tarmoqda 1000 dan ortiq ketma-ket qatlamlar ochilgan "juda chuqur o'rganish" muammosini hal qila oldi.[4]
Arxitektura
Takroriy neyron tarmoqlarning ko'plab turlari, echimlari va konstruktiv elementlari mavjud. Takroriy tarmoqning qiyinligi shundaki, agar har bir vaqt qadami hisobga olinsa, har bir vaqt bosqichida o'zining neyron qatlamini yaratish zarur bo'ladi, bu esa jiddiy hisoblash qiyinchiliklarini keltirib chiqaradi. Bundan tashqari, ko'p qatlamli ilovalar hisoblash jihatidan beqaror bo'lib chiqadi, chunki ulardagi og'irliklar odatda yo'qoladi yoki o'lchovdan chiqib ketadi. Agar hisoblash belgilangan vaqt oynasi bilan chegaralangan bo'lsa, unda olingan modellar uzoq muddatli tendentsiyalarni aks ettirmaydi. Turli yondashuvlar tarixiy xotira modeli va eslab qolish va unutish mexanizmini takomillashtirishga harakat qiladi.