Omonov Axror

Guruh	F.I	Ball
612-19	Omonov Axror

3-topshiriq

No	Fan mavzulari
11	Neyron tarmoqlarining to'g'ri va teskari tarqalish algaritmlari
12	Neyron tarmoqlarni regulyarizatsiyalash
13	Chuqur o'qitishga asoslangan neyron tarmoqlar
14	Svertkali neyron tarmoqlar(CNN), Rekkurent neyron tarmoqlari, Avtoenkoderlar va boshqa chuqur o'qitishga asoslangan algoritmlar arxitekturalari va ularning imkoniyatlari
15	Chuqur o'qitishga asoslangan neyron tarmoqlari nutq signallarini tanish, tasvirlardagi ob'ektlarni sinflashtirish kabi amaliy masalalarga qo'llash

Javoblar
11. Mashinani o'rganishda backpropagation (backprop, BP) oldinga neyron tarmoqlarini o'rgatish uchun keng qo'llaniladigan algoritmdir. Boshqa sun'iy neyron tarmoqlar (ANN) va umuman funktsiyalar uchun tarqalishning umumlashtirilishi mavjud. Algoritmlarning bu sinflari umumiy ma'noda "backpropagation" deb ataladi. Neyron tarmoqni o'rnatishda tarqalish funktsiyasining gradientini bitta kirish-chiqish misoli uchun tarmoqning og'irliklariga nisbatan hisoblab chiqadi va har bir vaznga nisbatan gradientni oddiy to'g'ridan-to'g'ri hisoblashdan farqli o'laroq, buni samarali bajaradi. Ushbu samaradorlik ko'p qatlamli tarmoqlarni o'qitish, yo'qotishlarni minimallashtirish uchun og'irliklarni yangilash uchun gradient usullarini qo'llash imkonini beradi; gradient tushishi yoki stokastik gradient tushishi kabi variantlar odatda qo'llaniladi. Orqaga tarqalish algoritmi zanjir qoidasi boʻyicha har bir vaznga nisbatan yoʻqotish funksiyasining gradientini hisoblash, gradientni bir vaqtning oʻzida bir qatlamni hisoblash, zanjir qoidasidagi oraliq atamalarning ortiqcha hisob-kitoblariga yoʻl qoʻymaslik uchun oxirgi qatlamdan orqaga qarab takrorlash orqali ishlaydi; bu dinamik dasturlashning namunasidir.
Orqaga tarqalish atamasi qat'iy ravishda faqat gradientni hisoblash algoritmiga ishora qiladi, gradientdan qanday foydalanishni emas; ammo, bu atama ko'pincha butun o'rganish algoritmiga, shu jumladan gradientdan qanday foydalanishga, masalan, stokastik gradient tushishiga nisbatan erkin foydalaniladi. Orqa tarqalish delta qoidasidagi gradient hisobini umumlashtiradi, bu orqaga tarqalishning bir qatlamli versiyasi bo'lib, o'z navbatida avtomatik farqlash yo'li bilan umumlashtiriladi, bunda orqa tarqalish teskari to'planishning (yoki "teskari rejim") maxsus holatidir.Backpropagation atamasi va uning neyron tarmoqlarda umumiy qo'llanilishi Rumelhart, Hinton & Williams (1986a) da e'lon qilingan, keyin Rumelhart, Hinton & Williams (1986b) da ishlab chiqilgan va ommalashgan, ammo bu texnika mustaqil ravishda ko'p marta kashf etilgan va ko'plab o'tmishdoshlari bilan tanishgan. 1960-yillargacha; Goodfellow, Bengio & Courville (2016) tomonidan chuqur o'rganish darsligida berilgan.
Orqaga tarqalish (BP) algoritmi gradientga asoslangan algoritm bo'lib, oldinga neyron tarmog'ini (FNN) o'rgatish uchun ishlatiladi. BP bugungi kunda ham FNNlarni o'rgatishda qo'llanilishiga qaramay, uning ba'zi kamchiliklari bor, jumladan: differensiallashtirilmaydigan funktsiyalarga murojaat qilinganda u muvaffaqiyatsizlikka uchraydi, mahalliy minimallarda qolib ketishi mumkin va s konvergentsiyaga ega. Ushbu muammolarning bir qismini hal qilish uchun FNNni o'qitish uchun metaevristik algoritmlardan foydalanilgan. Ular yaxshi kashfiyot qobiliyatlariga ega bo'lsalar ham, ular ekspluatatsiya vazifalarida gradientga asoslangan algoritmlar kabi yaxshi emas.
Gravitatsion qidiruv algoritmi (GSA) va xaotik tortishish qidiruv algoritmi (CGSA) algoritmlariga asoslangan yangi memetik yondashuvlarni qo'llashdadir, ular mos ravishda Memetic Gravitatsion Qidiruv Algoritmi (MGSA) va Memetik Xaotik Gravitatsion Qidiruv Algoritmi (MCGSA) deb ataladi. )
Swarm optimallashtirish, genetik algoritm, ta'mirlangan krossover tezligi bilan adaptiv differentsial evolyutsiya algoritmi va kovarians matritsasini o'rganish va bimodal taqsimot parametrlarini o'rnatish differentsial evolyutsiya algoritmi.
Neyron tarmoqlar mashinani o'rganishning eng mashhur va muvaffaqiyatli usullaridan biridir. Mashinani o'rganish texnikasining maqsadi - algoritmlarni kompyuterga inson aralashuvisiz avtomatik ravishda o'rganishga imkon berish va shunga mos ravishda harakatlarni sozlash. Xususan, FNNlar eng mashhur neyron tarmoq arxitekturasidir, qatlamlar bir-biriga shunday bog'langanki, i-qatlamning chiqishi i+1-qavatning kirishi sifatida ishlatiladi. Neyron tarmoqlardan foydalanadigan ko'pgina tijorat ilovalari ushbu turdagi arxitekturani amalga oshiradi, chunki u naqshni aniqlash yoki bashorat qilish bilan bog'liq muammolarning katta sinfini hal qilish uchun mos ekanligi ko'rsatilgan.
Neyron tarmoqlarda o'rganish jarayoni turli qatlamlardagi neyronlar orasidagi bog'lanish kuchini o'lchaydigan og'irliklar va moyilliklarni sozlash orqali amalga oshiriladi. Ushbu og'irliklar odatda o'rtacha kvadrat xato (MSE), kvadrat xatolar yig'indisi (SSE) yoki ildiz o'rtacha kvadrat xatosi (RMSE) kabi yo'qotish funktsiyasi yordamida tuzilgan tarmoq tomonidan qilingan xatolikni minimallashtirish uchun yangilanadi. Muayyan tarmoq uchun og'irliklar va moyilliklarni sozlash jarayoni trening deb nomlanadi.

12.Neyron tarmog'i chiziqli bo'lmagan tizimlarda chiqish regulyatsiyasini kuchaytirdi. Chiziqli bo'lmagan chiqishni tartibga solish muammosining yechilishi regulyator tenglamalari deb ataladigan aralash chiziqli bo'lmagan qisman va algebraik tenglamalar to'plami bilan aniqlangan oldinga qaytish funksiyasining mavjudligiga tayanadi. Chiqishni tartibga solish muammosini hal qilishning oldingi yondashuvlari regulyator tenglamalarini echishni talab qiladi. Biroq, regulyator tenglamalarini echish chiziqli bo'lmaganligi va murakkabligi tufayli qiyin.

Malumot kiritishlari ham, buzilishlar ham ekzosistem deb ataladigan avtonom differensial tenglama tomonidan yaratilgan. Bu muammo chiqishni tartibga solish muammosi yoki muqobil ravishda servomexanizm muammosi yoki asimptotik kuzatish va buzilishlarni rad etish deb ataladi. Chiziqli tizimlar sinfi uchun chiqishni tartibga solish muammosining echilishi 1970-yillarda ko'plab tadqiqotchilar tomonidan chuqur o'rganilgan (Davison, 1990; Frensis, 1997; Francis & Wonham, 1976; Desoer & Wang, 1980).
Chiziqli bo'lmagan tizimlar sinfi uchun tadqiqot uzoq vaqtdan beri mos yozuvlar kirishlari va buzilishlari doimiy bo'lgan maxsus holat bilan cheklangan edi (Francis & Wonham, 1976; Hepburn and Wonham 1984a, Hepburn and Wonham 1984b; Huang & Rugh, 1990), 1990 yilgacha. Isidori va Byrns (1990) ning mashhur natijasi shundaki, chiziqli bo'lmagan chiqishni tartibga solish muammosining echilishi regulyator tenglamalari yoki Isidori va Birns tenglamalari deb nomlanuvchi qisman differentsial va algebraik tenglamalar to'plamining echilishi bilan bog'liq. Ammo ko'pgina tipik chiziqli bo'lmagan tizimlar uchun, masalan, shar va nurli tizim yoki arava tizimidagi teskari mayatnik uchun regulyator tenglamalarining aniq echimi tenglamalarning chiziqli bo'lmaganligi sababli mavjud emas.
So'nggi paytlarda regulyator tenglamalarini echish uchun turli xil yaqinlashish usullari taklif qilindi. Bularga Huang va Rugh (1992b) va Krener (1992)dagi Teylor seriyali yondashuvi kiradi; Chu va Huang (1999) da takroriy neyron tarmoq yondashuvi; va Vang, Huang va Yauda (2000) oldinga neyron tarmoq yondashuvi. Teylor seriyali yondashuvi ko'rib chiqilayotgan Evklid fazosining kelib chiqishi yaqinidagi regulyator tenglamalariga yechimni juda aniq yaqinlashtirishga olib kelishi mumkin bo'lsa-da, neyron tarmog'i yondashuvining kuchliligi shundaki, neyron tarmoqlar echimini yaqinlashtirishi mumkin. regulyator tenglamalari har qanday ixcham kichik to'plamdagi o'zboshimchalik bilan kichik xatoga qadar
Biroq, Huang va Rugh (1992b), Krener (1992), Chu and Huang (1999) va Vang va boshqalarda bildirilgan yondashuvlar. (2000) regulyator tenglamalarini echish zavod haqida aniq bilimni talab qiladigan va zerikarli hisob-kitoblarni talab qiladigan asosiy cheklovga ega. Ushbu yondashuv regulyator tenglamalarining yechimi nol barqaror holatni kuzatish xatosini kafolatlash uchun zarur bo'lgan oldinga yo'naltirilgan boshqaruv to'g'risidagi ma'lumotlarni oddiygina taqdim etishini kuzatishga asoslanadi va bu oldinga uzatish nazorati ekzogen signalning funktsiyasidir.