O'quv yili: 2021-2022, Semestr: 6-semestr, Mutaxassislik

2. "Doimiy" neyron tarmoqlari.
Ko'pchilik "oddiy" yoki "klassik" neyron tarmoqlarni to'liq qayta ulangan besleme neyron tarmoqlari xatoning orqaga tarqalishi bilan tushunadi:

Nomidan ko'rinib turibdiki, bunday tarmoqda har bir neyron har biriga ulanadi, signal faqat kirish qatlamidan chiqish tomon yo'nalishda bo'ladi, hech qanday qaytishlar bo'lmaydi. Biz bunday tarmoqni qisqartirilgan PNS shaklida chaqiramiz.
Birinchidan, ma'lumotlarni kirishga qanday yuborishni hal qilishingiz kerak. PNS uchun eng oddiy va deyarli alternativ echim ikki o'lchovli tasvir matritsasini bir o'lchovli vektor sifatida ifodalashdir. Bular 28x28 o'lchamdagi qo'l bilan yozilgan rasm uchun biz 784 kirishga ega bo'lamiz, bu allaqachon juda ko'p. Keyin nima bo'ladi, ko'pgina konservativ olimlar neyron tarmoq olimlarini va ularning usullarini - arxitekturani tanlashni yoqtirmaydilar. Va ularga bu yoqmaydi, chunki arxitekturani tanlash toza shamanizmdir. Hozirgacha muammoning tavsifiga asoslanib neyron tarmoqning tuzilishi va tarkibini aniq belgilashga imkon beradigan usullar mavjud emas. Himoyada aytamanki, rasmiylashtirish qiyin bo'lgan vazifalar uchun bunday usul deyarli yaratilmaydi. Bundan tashqari, tarmoqni qisqartirishning turli xil usullari mavjud (masalan, OBD [1]), shuningdek turli xil evristik va bosh barmoqning qoidalari. Ushbu qoidalardan birida, yashirin qatlamdagi neyronlar soni, kirishlar sonidan kamida kattaroqlik tartibida bo'lishi kerakligi aytilgan. Agar rasmdan klass indikatoriga o'tish ancha murakkab va aslida chiziqli bo'lmaganligini hisobga olsak, bu erda bitta qatlam etarli emas. Yuqorida aytilganlarga asoslanib, biz yashirin qatlamlardagi neyronlarning soni taxminan 15000 (2-chi qatlamda 10000 va uchinchi qatlamda 5000) bo'lishini taxmin qilamiz. Shu bilan birga, ikkita yashirin qatlamli konfiguratsiya uchun, kirish va birinchi yashirin qatlam o'rtasida sozlanadigan va o'qitilgan ulanishlar soni 10 millionni tashkil etadi, birinchi va ikkinchi darajali qatlamlar orasidagi + 50 million va ikkinchi va chiqish o'rtasida 50 million, agar biz 10 ta chiqishimiz bor deb hisoblasak, har biri bu 0 dan 9 gacha bo'lgan raqamlarni anglatadi, jami 60.000.000 havolalar. Bularni sozlash mumkinligini men bejiz aytmagan edim, ya'ni mashg'ulotlar paytida siz ularning har biri uchun xato gradyanini hisoblashingiz kerak bo'ladi.
Xo'sh, yaxshi, nima qila olasiz, sun'iy aqlning go'zalligi qurbonlikni talab qiladi. Ammo agar siz bu haqda o'ylasangiz, tasvirni baytning chiziqli qatoriga aylantirganimizda, biror narsani yo'qotib qo'yganimiz yodimizga keladi. Va har bir qatlam bilan bu yo'qotish faqat yomonlashadi. Bu to'g'ri - biz rasmning topologiyasini yo'qotamiz, ya'ni. uning alohida qismlari o'rtasidagi munosabatlar. Bundan tashqari, razraravaniya muammosi neyron tarmoqning kichik siljishlarga, aylanishlarga va tasvir miqyosidagi o'zgarishlarga chidamli bo'lish qobiliyatini anglatadi. ma'lum bir shaxsning qo'l yozuviga bog'liq bo'lmagan ma'lumotlardan ba'zi bir invariantlarni chiqarib tashlashi kerak. Xo'sh, juda murakkab bo'lmagan va shu bilan birga turli xil tasvir buzilishlariga ko'proq turg'un bo'lmasligi uchun neyron tarmog'i qanday bo'lishi kerak?