Guruh F. I ball 611-19 Qosimova Yulduzxon 3-topshiriq

---

 
Guruh 
F.I 
Ball
611-19 
Qosimova Yulduzxon 
 
 
3-topshiriq 
 
No
Fan mavzulari
11 
Neyron tarmoqlarining to'g'ri va teskari tarqalish algaritmlari 
12 
Neyron tarmoqlarni regulyarizatsiyalash 
13 
Chuqur o'qitishga asoslangan neyron tarmoqlar 
14 
Svertkali 
neyron 
tarmoqlar(CNN), 
Rekkurent 
neyron 
tarmoqlari, 
Avtoenkoderlar va boshqa chuqur o'qitishga asoslangan algoritmlar 
arxitekturalari va ularning imkoniyatlari 
15 
Chuqur o'qitishga asoslangan neyron tarmoqlari nutq signallarini tanish, 
tasvirlardagi ob'ektlarni sinflashtirish kabi amaliy masalalarga qo'llash 
 
Javoblar 
11. Mashinani o'rganishda backpropagation (backprop, BP) oldinga neyron 
tarmoqlarini o'rgatish uchun keng qo'llaniladigan algoritmdir. Boshqa sun'iy neyron 
tarmoqlar (ANN) va umuman funktsiyalar uchun tarqalishning umumlashtirilishi 
mavjud. Algoritmlarning bu sinflari umumiy ma'noda "backpropagation" deb ataladi. 
Neyron tarmoqni o'rnatishda tarqalish funktsiyasining gradientini bitta kirish-chiqish 
misoli uchun tarmoqning og'irliklariga nisbatan hisoblab chiqadi va har bir vaznga 
nisbatan gradientni oddiy to'g'ridan-to'g'ri hisoblashdan farqli o'laroq, buni samarali 
bajaradi. Ushbu samaradorlik ko'p qatlamli tarmoqlarni o'qitish, yo'qotishlarni 
minimallashtirish uchun og'irliklarni yangilash uchun gradient usullarini qo'llash 
imkonini beradi; gradient tushishi yoki stokastik gradient tushishi kabi variantlar odatda 
qo'llaniladi. Orqaga tarqalish algoritmi zanjir qoidasi boʻyicha har bir vaznga nisbatan 
yoʻqotish funksiyasining gradientini hisoblash, gradientni bir vaqtning oʻzida bir 
qatlamni hisoblash, zanjir qoidasidagi oraliq atamalarning ortiqcha hisob-kitoblariga 
yoʻl qoʻymaslik uchun oxirgi qatlamdan orqaga qarab takrorlash orqali ishlaydi; bu 
dinamik dasturlashning namunasidir. 
Orqaga tarqalish atamasi qat'iy ravishda faqat gradientni hisoblash algoritmiga 
ishora qiladi, gradientdan qanday foydalanishni emas; ammo, bu atama ko'pincha butun 
o'rganish algoritmiga, shu jumladan gradientdan qanday foydalanishga, masalan, 
stokastik gradient tushishiga nisbatan erkin foydalaniladi. Orqa tarqalish delta 
qoidasidagi gradient hisobini umumlashtiradi, bu orqaga tarqalishning bir qatlamli 
versiyasi bo'lib, o'z navbatida avtomatik farqlash yo'li bilan umumlashtiriladi, bunda 
orqa 
tarqalish 
teskari 
to'planishning 
(yoki 
"teskari 
rejim") 
maxsus 

---

holatidir.Backpropagation atamasi va uning neyron tarmoqlarda umumiy qo'llanilishi 
Rumelhart, Hinton & Williams (1986a) da e'lon qilingan, keyin Rumelhart, Hinton & 
Williams (1986b) da ishlab chiqilgan va ommalashgan, ammo bu texnika mustaqil 
ravishda ko'p marta kashf etilgan va ko'plab o'tmishdoshlari bilan tanishgan. 1960-
yillargacha; Goodfellow, Bengio & Courville (2016) tomonidan chuqur o'rganish 
darsligida berilgan. 
Orqaga tarqalish (BP) algoritmi gradientga asoslangan algoritm bo'lib, oldinga 
neyron tarmog'ini (FNN) o'rgatish uchun ishlatiladi. BP bugungi kunda ham FNNlarni 
o'rgatishda qo'llanilishiga qaramay, uning ba'zi kamchiliklari bor, jumladan: 
differensiallashtirilmaydigan 
funktsiyalarga 
murojaat 
qilinganda 
u 
muvaffaqiyatsizlikka uchraydi, mahalliy minimallarda qolib ketishi mumkin va s 
konvergentsiyaga ega. Ushbu muammolarning bir qismini hal qilish uchun FNNni 
o'qitish uchun metaevristik algoritmlardan foydalanilgan. Ular yaxshi kashfiyot 
qobiliyatlariga ega bo'lsalar ham, ular ekspluatatsiya vazifalarida gradientga asoslangan 
algoritmlar kabi yaxshi emas. 
Gravitatsion qidiruv algoritmi (GSA) va xaotik tortishish qidiruv algoritmi 
(CGSA) algoritmlariga asoslangan yangi memetik yondashuvlarni qo'llashdadir, ular 
mos ravishda Memetic Gravitatsion Qidiruv Algoritmi (MGSA) va Memetik Xaotik 
Gravitatsion Qidiruv Algoritmi (MCGSA) deb ataladi. )
Swarm optimallashtirish, genetik algoritm, ta'mirlangan krossover tezligi bilan 
adaptiv differentsial evolyutsiya algoritmi va kovarians matritsasini o'rganish va 
bimodal taqsimot parametrlarini o'rnatish differentsial evolyutsiya algoritmi. 
Neyron tarmoqlar mashinani o'rganishning eng mashhur va muvaffaqiyatli usullaridan 
biridir. Mashinani o'rganish texnikasining maqsadi - algoritmlarni kompyuterga inson 
aralashuvisiz avtomatik ravishda o'rganishga imkon berish va shunga mos ravishda 
harakatlarni sozlash. Xususan, FNNlar eng mashhur neyron tarmoq arxitekturasidir, 
qatlamlar bir-biriga shunday bog'langanki, i-qatlamning chiqishi i+1-qavatning kirishi 
sifatida ishlatiladi. Neyron tarmoqlardan foydalanadigan ko'pgina tijorat ilovalari 
ushbu turdagi arxitekturani amalga oshiradi, chunki u naqshni aniqlash yoki bashorat 
qilish bilan bog'liq muammolarning katta sinfini hal qilish uchun mos ekanligi 
ko'rsatilgan. 
Neyron tarmoqlarda o'rganish jarayoni turli qatlamlardagi neyronlar orasidagi 
bog'lanish kuchini o'lchaydigan og'irliklar va moyilliklarni sozlash orqali amalga 
oshiriladi. Ushbu og'irliklar odatda o'rtacha kvadrat xato (MSE), kvadrat xatolar 
yig'indisi (SSE) yoki ildiz o'rtacha kvadrat xatosi (RMSE) kabi yo'qotish funktsiyasi 
yordamida tuzilgan tarmoq tomonidan qilingan xatolikni minimallashtirish uchun 
yangilanadi. Muayyan tarmoq uchun og'irliklar va moyilliklarni sozlash jarayoni 
trening deb nomlanadi.

---

 
12.Neyron tarmog'i chiziqli bo'lmagan tizimlarda chiqish regulyatsiyasini 
kuchaytirdi. Chiziqli bo'lmagan chiqishni tartibga solish muammosining yechilishi 
regulyator tenglamalari deb ataladigan aralash chiziqli bo'lmagan qisman va algebraik 
tenglamalar to'plami bilan aniqlangan oldinga qaytish funksiyasining mavjudligiga 
tayanadi. Chiqishni tartibga solish muammosini hal qilishning oldingi yondashuvlari 
regulyator tenglamalarini echishni talab qiladi. Biroq, regulyator tenglamalarini echish 
chiziqli bo'lmaganligi va murakkabligi tufayli qiyin.
Malumot kiritishlari ham, buzilishlar ham ekzosistem deb ataladigan avtonom 
differensial tenglama tomonidan yaratilgan. Bu muammo chiqishni tartibga solish 
muammosi yoki muqobil ravishda servomexanizm muammosi yoki asimptotik kuzatish 
va buzilishlarni rad etish deb ataladi. Chiziqli tizimlar sinfi uchun chiqishni tartibga 
solish muammosining echilishi 1970-yillarda ko'plab tadqiqotchilar tomonidan chuqur 
o'rganilgan (Davison, 1990; Frensis, 1997; Francis & Wonham, 1976; Desoer & Wang, 
1980). 
Chiziqli bo'lmagan tizimlar sinfi uchun tadqiqot uzoq vaqtdan beri mos yozuvlar 
kirishlari va buzilishlari doimiy bo'lgan maxsus holat bilan cheklangan edi (Francis & 
Wonham, 1976; Hepburn and Wonham 1984a, Hepburn and Wonham 1984b; Huang 
& Rugh, 1990), 1990 yilgacha. Isidori va Byrns (1990) ning mashhur natijasi shundaki, 
chiziqli bo'lmagan chiqishni tartibga solish muammosining echilishi regulyator 
tenglamalari yoki Isidori va Birns tenglamalari deb nomlanuvchi qisman differentsial 
va algebraik tenglamalar to'plamining echilishi bilan bog'liq.
 
Ammo ko'pgina tipik 
chiziqli bo'lmagan tizimlar uchun, masalan, shar va nurli tizim yoki arava tizimidagi 
teskari mayatnik uchun regulyator tenglamalarining aniq echimi tenglamalarning 
chiziqli bo'lmaganligi sababli mavjud emas. 
So'nggi paytlarda regulyator tenglamalarini echish uchun turli xil yaqinlashish 
usullari taklif qilindi. Bularga Huang va Rugh (1992b) va Krener (1992)dagi Teylor 
seriyali yondashuvi kiradi; Chu va Huang (1999) da takroriy neyron tarmoq 
yondashuvi; va Vang, Huang va Yauda (2000) oldinga neyron tarmoq yondashuvi. 
Teylor seriyali yondashuvi ko'rib chiqilayotgan Evklid fazosining kelib chiqishi 
yaqinidagi regulyator tenglamalariga yechimni juda aniq yaqinlashtirishga olib kelishi 
mumkin bo'lsa-da, neyron tarmog'i yondashuvining kuchliligi shundaki, neyron 
tarmoqlar echimini yaqinlashtirishi mumkin. regulyator tenglamalari har qanday 
ixcham kichik to'plamdagi o'zboshimchalik bilan kichik xatoga qadar 
Biroq, Huang va Rugh (1992b), Krener (1992), Chu and Huang (1999) va Vang va 
boshqalarda bildirilgan yondashuvlar. (2000) regulyator tenglamalarini echish zavod 
haqida aniq bilimni talab qiladigan va zerikarli hisob-kitoblarni talab qiladigan asosiy 
cheklovga ega. Ushbu yondashuv regulyator tenglamalarining yechimi nol barqaror 
holatni kuzatish xatosini kafolatlash uchun zarur bo'lgan oldinga yo'naltirilgan 

---

boshqaruv to'g'risidagi ma'lumotlarni oddiygina taqdim etishini kuzatishga asoslanadi 
va bu oldinga uzatish nazorati ekzogen signalning funktsiyasidir.