Neyron tarmoqlar asoslari

Yashirin qatlamsiz perseptronlar
Yuqorida tavsiflangan perseptronlar kengroq vazifalar doirasiga kengaytirilishi mumkin, agar ikkilik kirish signallari o'rniga analogli, ya’ni uzluksiz qiymatlarga ega signallar qo'llanilsa. Bu farazni Bernard Vidrou va Ted Xoff ilgari surgan va isbotlagan. Shuningdek, ular matematik neyronni amalga oshiruvchi memistor qurilmasini ishlab chiqdilar va uni ADALINE (adaline - adaptive linear element, adaptiv chiziqli element) deb nomladilar. Ular adalinlarning neyron tarmog'ini madalayn (Many, ya’ni ko’plab ADALINE) deb atashgan. Vidrow va Xoff bosqichma-bosqich emas, balki doimiy sigmasimon (logistik) faollashtirish funktsiyasidan foydalanishni taklif qildilar (3.10-rasm):

3.10- Rasm. Logistik faollashtirish funktsiyasi
Bu uzluksiz intervalda [-∞;+∞] signallarning qiymatlarini va uzluksiz intervalda [0;1] chiqishlardan foydalanish imkonini berdi. Agar [-1; 1] oraliqda chiqishlarni qayta ishlash zarurati tug'ilsa, u holda bipolyar sigmasimon (3.11-rasm) ishlatiladi - giperbolik tangens:

Rasm.3.11. Bipolyar sigmasimon faollashtirish funktsiyasi
Shunday qilib, neyron tarmog'ini o'rgatish vazifasi o'rtacha kvadrat xatosini minimallashtirish bilan bog’liq (u o'rtacha kvadrat o'rgatish xatosi deb ham ataladi), ya'ni optimallashtirish muammosini hal qilish bilan.
Bu yerda eng oddiy, ammo optimal bo'lmagan usul - bu w_ij og'irliklarni tasodifiy sanab, keyin y ni hisoblash va ideal qiymat bilan solishtirishdir. Biroq, sun'iy neyron tarmoqlar nazariyasida gradiyent tushish usuli samaraliroq hisoblanadi, unga ko'ra og'irlik koeffitsienti funksiyasi ε({wij}) bilan tasvirlangan gradient sirtiga qarama-qarshi yo'nalishda o'zgaradi:

O'tgan asrning 70-yillariga qadar Makkalok va Pitts, Rozenblatt va Xebbning fundamental ishlariga asoslangan perseptronning ko'plab ilovalari paydo bo'ldi. Bu inson miyasini modellashtirishda katta yutuq edi. Aftidan, kuchli sun'iy intellektning kaliti topilgan va uning dekodlanishi vaqt masalasi edi. Perseptronlar diagnostika, prognozlash va umuman ma'lumotlarni tahlil qilish muammolarini hal qilish uchun ishlatilgan. Ayni paytda, ehtimol, Rosenblatt asarlarini noto'g'ri talqin qilinganligi sababli (u allaqachon perseptronni neyronlarning bir qatlami sifatida emas, balki zamonaviy ma'noda to'laqonli neyron tarmoq sifatida taqdim etgan - uchta qatlam bilan: kirish, yashirin va chiqish), yoki o'sha davrning texnik imkoniyatlari cheklanganligi sababli, perseptron ba'zi muammolarni hal qila olmasligi va bu vazifalar perseptron ilgari muvaffaqiyatli bajargan vazifalardan tashqi tomondan farq qilmasligi ma'lum bo'ldi. Perseptronni batafsilroq o'rganish va sun'iy neyron tarmoqlar uchun chuqurroq nazariy asos yaratish zarurati tug'ildi.
Umuman olganda, neyron tarmoqlari arxitekturasining uchta asosiy klassi mavjud:
1) kirish va chiqish qatlamidan iborat to'g'ridan-to'g'ri tarqaladigan bir qatlamli SNT; yagona (chiqish) qatlam hisoblash elementlari (neyronlar) qatlamini anglatadi;
2) tarmoqning kirish yoki chiqish qismi bo'lmagan bir nechta yashirin neyron qatlamlariga ega bo'lgan ko'p qatlamli oldinga tarqaladigan SNT. Yashirin qatlam neyronlari SNT ga kirish vektoridan muhim xususiyatlarni ketma-ketlik bilan ajratib olish orqali murakkab muammolarni hal qilishni o'rganish imkonini beradi;
3) rekurrent SNT - kamida bitta teskari aloqaa ega taroqlar.
Neyron tarmoqlarning eng muhim xususiyati ularning aprior ma'lumotlar (faktlar), kuzatishlar, o'lchovlar (misollar) asosida o'rganish qobiliyatidir. O'rganish deganda SNT parametrlari (neyronlar orasidagi bog'lanishning og'irlik koeffitsientlari, chegara darajalari va boshqalar) o'quv namunasi taqdim etilganda u yoki bu algoritmga muvofiq sozlanishi jarayon tushuniladi. O'quv namunasi - o'rganilayotgan ob'ekt, jarayon yoki hodisa to'g'risidagi ma'lumotlar; Namuna ularga mos keladigan kirish va chiqish qiymatlarining ikkala juftligini (X, Y) yoki faqat kirish qiymatlarini o'z ichiga olishi mumkin. O'quv namunasi asosida neyron tarmoq, berilgan algoritm, kirish tasvirlari X ga kerakli Y javobini ta'minlash uchun sinaptik ulanishlarning og'irlik koeffitsientlarini yoki boshqa parametrlarni moslashtiradi.
Uchta o’qitish paradigmasi mavjud: "o'qituvchi bilan", "o'qituvchisiz" (o'z-o'zini o'rganish) va aralash.
O’qituvchi bilan o'qitishda (supervised learning) o'qituvchining roli kirish va chiqish qiymatlari juftligi (X, Y) sifatida ifodalangan atrof-muhit haqida bilimga ega bo'lish sifatida qaraladi. Tarmoq kiritishiga o'qitish vektori berilganda, o'qituvchi berilgan kirish vektoriga mos keladigan neyron tarmoqqa kerakli javobni yuboradi.
SNT parametrlari o'qitish vektori va xato signalini (kerakli signal va joriy tarmoq javobi o'rtasidagi farq) hisobga olgan holda o'rnatiladi.
O’qituvchisiz o'rgatish (unsupervised learning) o'quv majmuasining har bir misoli uchun to'g'ri javoblarni bilishni talab qilmaydi. Bunday holda, ma'lumotlarning ichki tuzilishini ochish yoki ma'lumotlardagi misollar orasidagi korrelyatsiyalarni topish muammosi hal qilinadi, bu esa kirish misollarini guruhlarga taqsimlash imkonini beradi.
Aralash o’qitishda sinaptik og'irliklarning bir qismi "nazorat ostida" o'rganish jarayonida aniqlanadi, qolgan qismi esa o'z-o'zini o'rganish yordamida shakllanadi.