Recurrent Neural Network

2. Ketma-ket o‘rganish nima?

• RNN nima uchun kerakligini tushunishni osonlashtirish uchun, keling, oddiy nutq ishi haqida o'ylab ko'raylik (keling, nevrologiyani biroz buzamiz)
• Bizga yashirin holat (erkin fikr?) berilgan, bu biz gapirmoqchi bo'lgan jumladagi barcha ma'lumotlarni kodlaydi.
• Biz so'zlar (jumla) ro'yxatini birma-bir tuzmoqchimiz.
• Har bir bosqichda biz faqat bitta so'zni tanlashimiz mumkin.
• Yashirin holatga tanlangan so'zlar ta'sir qiladi (shunday qilib, biz aytgan so'zimizni eslab, gapni yakunlashimiz mumkin).

2. Ketma-ket o‘rganish nima?

• Oddiy CNN lar uzunligi o'zgaruvchan kirish va chiqishda yaxshi tug'ilmaydi.
• Kirish va chiqishni aniqlash qiyin
• Shuni esda tuting
• Kirish tasviri 3D tenzor (kenglik, uzunlik, rangli kanallar)
• Chiqarish - belgilangan sinflar soni bo'yicha taqsimlash.
• Ketma-ketlik quyidagicha bo'lishi mumkin:
• “Bilamanki, men bilaman, men o‘zing bilaman, men bilaman, men bilaman, men bilaman, deb bilaman”
• “Bilmayman”
• Kirish va chiqish ketma-ketlikda kuchli bog'langan.
• Shunga qaramay, odamlar CNNon sequencelearning-dan foydalanish yo'llarini o'ylab topdilar

3. Ketma-ket yorliqlash bilan shug'ullanish usullari

• Avtoregressiv modellar
• Kechiktirish tugmalaridan foydalanib, oldingi shartlar qatoridan keyingi muddatni bashorat qiling.
• Oldinga uzatuvchi neyron tarmoqlari
• Bular chiziqli bo'lmagan yashirin birliklarning bir yoki ko'proq qatlamlaridan foydalangan holda avtoregressiv modellarni umumlashtiradi.

Xotirasiz modellar: cheklangan so'z xotirasi oynasi; hiddenstate dan samarali foydalana olmaydi

3. Ketma-ket yorliqlash bilan shug'ullanish usullari

• Chiziqli dinamik tizimlar
• Bu generativ modellar. Ular to'g'ridan-to'g'ri kuzatilmaydigan haqiqiy maxfiy holatga ega.
• Yashirin Markov modellari
• Diskret bir N-ning yashirin holatiga ega bo'ling. O'tish matritsasi tomonidan boshqariladigan va estochastic holatlar orasidagi o'tishlar. Chiqishlardavlat tomonidan ishlab chiqarilgan stokastikdir.