Koʻp qatlamli perseptron universal yaqinlashish teoremasi bilan tasdiqlangan universal funksiya yaqinlashtiruvchisi hisoblanadi. Biroq, talab qilinadigan neyronlar soni, tarmoq topologiyasi, ogʻirliklar va oʻrganish parametrlari boʻyicha isbot konstruktiv emas.
Ratsional qiymatli ogʻirliklarga ega oʻziga xos takrorlanuvchi arxitektura (toʻliq aniqlikdagi haqiqiy sonli ogʻirliklardan farqli oʻlaroq). Cheklangan miqdordagi neyronlar va standart chiziqli ulanishlardan foydalangan holda universal Tyuring mashinasining kuchiga ega[118]. Bundan tashqari, ogʻirliklar uchun irratsional qiymatlardan foydalanish super-Tyuring kuchiga ega boʻlgan mashinaga olib keladi.[119]
Imkoniyat[tahrir | manbasini tahrirlash]
Modelning „imkoniyat“ xususiyati uning har qanday berilgan funksiyani modellashtirish qobiliyatiga mos keladi. Axborot sigʻimi va VC oʻlchami. PerseptroNTing axborot sigʻimi ser Devid Makkeyning Tomas Kover ishini jamlagan kitobida[120] qizgʻin muhokama qilinadi.[121] Standart neyronlar tarmogʻining sigʻimi (konvolyutsion emas) neyroNTi elektr elementi sifatida tushunishdan kelib chiqadigan toʻrtta qoida[122] bilan olinishi mumkin. Axborot sigʻimi kirish sifatida har qanday maʼlumot berilgan tarmoq tomonidan modellanadigan funksiyalarni qamrab oladi. Ikkinchi tushuncha — VC oʻlchami. VC Dimension oʻlchov nazariyasi tamoyillaridan foydalanadi va eng yaxshi sharoitlarda maksimal quvvatni topadi. Bu maʼlum bir shaklda kiritilgan maʼlumotlardir.[120] da taʼkidlanganidek, ixtiyoriy kiritishlar uchun VC oʻlchami PerceptroNTing axborot sigʻimining yarmini tashkil qiladi. Ixtiyoriy nuqtalar uchun VC oʻlchami baʼzan Xotira hajmi deb ataladi.[123]
Konvergentsiya[tahrir | manbasini tahrirlash]
Modellar doimiy ravishda bitta yechimga yaqinlashmasligi mumkin, birinchidan, xarajat funksiyasi va modelga qarab mahalliy minimallar mavjud boʻlishi mumkin. Ikkinchidan, qoʻllaniladigan optimallashtirish usuli har qanday mahalliy minimumdan uzoqda boshlanganda birlashishni kafolatlamasligi mumkin.
Yana bir taʼkidlab oʻtish kerak boʻlgan masala shundaki, mashgʻulot birlashmani notoʻgʻri yoʻnalishga olib kelishi mumkin boʻlgan Egar nuqtasini kesib oʻtishi mumkin.
Tarmoqning kengligi cheksizlikka yaqinlashganda, SNT oʻzining birinchi tartibidagi Teylorning trening davomida kengayishi bilan yaxshi tavsiflanadi va shuning uchun affin modellarning konvergentsiya xatti-harakatlarini meros qilib oladi.[124][125] Yana bir misol, parametrlar kichik boʻlsa, SNT koʻpincha pastdan yuqori chastotalarga qadar maqsadli funksiyalarga mos kelishi kuzatiladi. Ushbu xatti-harakatlar neyron tarmoqlarning spektral moyilligi yoki chastota printsipi deb ataladi.[126][127][128][129] Bu hodisa Yakobi usuli kabi baʼzi yaxshi oʻrganilgan iterativ raqamli sxemalarning xatti-harakatlariga qarama-qarshidir. Chuqurroq neyron tarmoqlar past chastotali funksiyalarga nisbatan koʻproq moyil boʻlishi kuzatilgan.[130]
Umumlashtirish va statistika[tahrir | manbasini tahrirlash]
Maqsadlari koʻrinmas misollarni yaxshi umumlashtiradigan tizim yaratish boʻlgan ilovalar ortiqcha oʻqitish imkoniyatiga duch kelishadi. Ikkita yondashuv ortiqcha mashgʻulotlarni hal qiladi. Birinchisi, ortiqcha treninglar mavjudligini tekshirish va umumlashtirish xatosini minimallashtirish uchun giperparametrlarni tanlash uchun oʻzaro tekshirish va shunga oʻxshash usullarni qoʻllashdir.
Bu kontseptsiya probabilistik (Bayesian) doirada paydo boʻladi, bu erda tartibga solish oddiyroq modellarga nisbatan kattaroq oldingi ehtimollikni tanlash orqali amalga oshirilishi mumkin.Bundan tashqari, statistik oʻrganish nazariyasida, maqsad ikkitadan ortiq miqdorni minimallashtirishdan iborat: „ampirik risk“ va „tarkibiy xavf“, bu taxminan oʻquv majmuasi ustidagi xatoga va koʻrinmas maʼlumotlarning haddan tashqari moslashuvi tufayli taxmin qilingan xatoga mos keladi.
Oʻrtacha kvadrat xatolik (MSE) xarajat funksiyasidan foydalanadigan nazorat qilinadigan neyron tarmoqlari oʻqitilgan modelning ishonchliligini aniqlash uchun rasmiy statistik usullardan foydalanishi mumkin. Tasdiqlash toʻplamidagi MSE farqni baholash sifatida ishlatilishi mumkin. Shu tarzda oʻtkazilgan ishonch tahlili, agar chiqish ehtimoli taqsimoti bir xil boʻlsa va tarmoq oʻzgartirilmasa, statistik jihatdan haqiqiy hisoblanadi.
Kategorik maqsadli oʻzgaruvchilar uchun neyron tarmogʻining chiqish qatlamiga (yoki komponentlarga asoslangan tarmoqdagi softmax komponentiga) softmax faollashtirish funksiyasini, logistik funksiyani umumlashtirishni belgilash orqali natijalarni posterior ehtimolliklar sifatida talqin qilish mumkin. Bu tasniflashda foydalidir, chunki u tasniflashda aniqlik oʻlchovini beradi.
Softmax faollashtirish funksiyasi:
��=���∑�=1����
