2. Regulyarizatsiya uchun ishlatiladigan ba'zi usullar

9-ma’ruza. O‘qitishjarayonidaregulyarizatsiyalash.
Reja:
1. Regulyarizatsiyalash tushunchasi.

2. Regulyarizatsiya uchun ishlatiladigan ba'zi usullar

3. Neyrontar moqlarni regulyarizatsiyalash


Tayanch iboralar. Regulyarizatsiya ( regularization), obyekt, empirik ma’lumotlar, hal qiluvchi funksiya, belgilar tizimi, obyektlarni tanib olish, timsolni tanib olish, hal qiluvchi qoida, mantiqiy, uzluksiz, ehtimolli, nominal, intellekt (intelligence), sun'iy intellekt (artificial intelligence),sun'iy intellekt tizimi (artificial intelligence system), algoritm (algorithm), neyrotarmoq (neuralnetwork), nayrokompyuter (neurocomputer), evristik qidiruv (heuristic search), "MANTIQCHI-NAZARIYOTCHI" (LOGICS THEORISTS), "UMUMIY MASALALARNI YECHUVCHI" (UNIVERSAL SOLVERS), Lisp (LISP), Perseptron (perceptron), predikatlar mantiqi (predicate logic), robot (robot), sezish xususiyatiga ega robotlar (sensual robots), ТАIR (TAIR), DENDRAL, MYCIN, PROSPECTOR, SHRDLU, LUNAR, PLANNER, Prolog (Prologue), ekspert tizim (expert system), integratsiya(o’zaro birlashuv) (integration), detsentralizatsiya (markazlashgan sistemadan markazlashmagam sistemaga o’tish)(decentralization).
9.1. Regulyarizatsiyalash tushunchasi


Regulyarizatsiya (англ. regularization)(tartibga solish)- statistikada, mashinani o'rganishda, teskari vazifalar nazariyasida-noto'g'ri vazifani hal qilish yoki qaytao'qitishnioldiniolishuchunvaziyatgaqo'shimchacheklovlarqo'shishusuli.Ko'pincha,buma'lumot modelningmurakkabligiuchunjarimashakligaega.
Regulyarizatsiya shuningdek, neyron tarmoqlarda ham juda katta tarmoq og'irliklariva qayta o'qitish bilan kurashish uchun ishlatiladi. Biroq, bu holda, L1-regulyatoryordamida koeffitsientlarni nollash chiziqli modellarda bo'lgani kabi, "belgilarnitanlash"ma'nosinihamo'zichigaolmaydi.Afsuski,regulyarizatsiyaparametrlarningsoninikamaytirmaydivatarmoqtuzilishinisoddalashtirmaydi.
Neyron tarmog'i uchun ampirik xavfga nisbatan jazo muddatini qo'shib qo'yishdantashqari, qayta o'qitishga qarshi kurashning yana bir usuli — tarmoqni yupatish(ingliztili.xatofunktsiyasio'zgarmaydibo'lsa,tarmoqyanadasoddalashtirishmumkin—qoidaasosida,tarmoqsoddalashtirishqaysi davomidadropout).
Regulyarizatsiya qayta jihozlashni kamaytirish orqali modellarni yanada foydaliqilishi mumkin.
Regulyarizatsiya sizning neyron tarmoqingizning ish faoliyatini sezilarli darajadaoshirishi, qayta jihozlashni kamaytirishmumkin.
Qaytao'qitish-buneyrontarmoqumumiyqo'llaniladiganprinciplarnio'rganisho'rnigata'limma'lumotlariningnoyobxususiyatlarini(masalan,o'quvma'lumotlarining shovqini) yodlashni boshlaydigan bir hodisa. "Qayta o'qitish"modeli o'quv ma'lumotlarida yuqori ko'rsatkichlarga ega bo'ladi, ammo sinovdano'tgan ma'lumotlarning yomon ishlashi, ya'ni bu model haqiqiy dunyoda foydalibo'lmaydi,chunkiuhechqachonko'rmaganma'lumotlargayaxshiishlamaydioldin. Neyron tarmoq modellarining butun nuqtasi yangi ma'lumotlar bilan haqiqiymuammolarni hal qilishdir, chunki biz deyarli foydali modelni olish uchun qaytajihozlashdanqochmoqchimiz.
Sinflashvazifasidaqaytajihozlashmisoli:

Ushbu sinflash vazifasida biz qizil nuqtalarni ko'kdan ajratib turadigan chiziqnio'rganishniistaymiz.Qorachiziqkosmosdagiko'kvaqizilnuqtalarningjoylashuvining umumiy tamoyilini aks ettiradigan yaxshi tasniflovchi hisoblanadi.Yashil chiziq qizil va ko'k nuqtalarning aniq o'quv to'plamiga juda xos bo'lganligisababli,qaytajihozlashdan ta'sirlangan tasnifni ifodalaydi.

Yashil klassifikator chizig'i ko'zga ko'rinmas testlar to'plamida qanchalik yomonishlayotganiga e'tibor bering, hatto ko'zga ko'rinmas testlar to'plami ko'k va qizilnuqtalarningumumiyjoylashuvisxemasigamoskeladi.Shunihamta'kidlashkerakki,hechqandayqoplamagaegabo'lmaganqorachiziqhalihamsinovto'plamidayaxshiishlaydi:

Qayta jihozlashning eng haddan tashqari versiyasi qachon sodir bo'ladi neyrontarmoqbuning barcha mashg'ulotlariga mos keladi. Bu neyron tarmoq juda ko'pparametrlarga ega bo'lganda va juda uzoq vaqt davomida o'qitilganda sodir bo'lishimumkin.

Regulyarizatsiyata'limalgoritmigabarqarorlikniqo'shib,ma'lumotlarvao'quvjarayonlariganisbatankamroqsezgirbo'ladi.Bizningbaholashfunktsiyamiznitaqqoslash uchun biz foydalana oladigan haqiqiy xususiyatni bilmasligimiz yokibilmasligimiz sababli, eng yaxshi strategiya o'quv ma'lumotlariga (qayta jihozlash)judayaxshimoskeladiganjudamurakkabmodelniyaratishvaunitartibga solishdir.Tartibgasolishdanfoydalanib,bizumumlashmaxatosinikamaytirishgaharakatqilamizvabujarayonda o'rganish xatosining oshishiga olib kelishi mumkin va bu odatiy holdir,chunkibizmodelningqanchalikyaxshiumumlashtirilishigaqiziqamiz.Regularizatsiya yordamida biz juda murakkab modelni qaytarib olishga harakatqilmoqdamiz, bu esa yaxshi modelga qayta moslashishga, ofsetlarni oshirishga vafarqni kamaytirishga olib keladi. Bu murakkab modeldagi katta parametrlarga egabo'lganvaoddiymodelkichikparametrlargaegabo'lgantaxmingaasoslanadi.