Recurrent Neural Network

Xotirali modellar, yashirin holat taqsimotini aniqlash uchun vaqt-xarajat.

3. Ketma-ket yorliqlash bilan shug'ullanish usullari

• Nihoyat, RNN modeli!
• Yashirin holatni deterministik nochiziqli usulda yangilang.
• Oddiy gapirish holatida biz tanlangan so'zni kirish sifatida tarmoqqa yuboramiz.

3. Ketma-ket yorliqlash bilan shug'ullanish usullari

• RNN juda kuchli, chunki ular:
• Taqsimlangan yashirin holat, bu ularga o'tmish haqidagi alotofinma'lumotlarni samarali saqlash imkonini beradi.
• Yashirin holatni murakkab usullar bilan yangilash imkonini beruvchi chiziqli bo'lmagan dinamika.
• Yashirin holat haqida xulosa chiqarishning hojati yo'q, sof deterministik.
• Og'irlikni taqsimlash

Ikkinchi qism

• Vanilla takrorlanuvchi neyron tarmog'ida matematika
• Vanilla Oldinga o'tish
• Vanilla Orqaga o'tish
• Vanilla ikki tomonlama o'tish
• Vanilla RNNni o'rgatish
• Yo'qolib borayotgan va portlovchi gradient muammolari

1.Vanilla Oldinga o'tish

• Vanil RNN ning oldinga o'tishi
• Yagona yashirin qatlamli MLP bilan bir xil
• Faollashtirishlar yashirin qatlamga joriy tashqi kirish orqali ham, yashirin qatlam faollashuvidan ham bir qadam orqaga bir qadam orqaga o‘z vaqtida yetib kelishi bundan mustasno.
• Yashirin birliklarga kirish uchun bizda mavjud
• Chiqish birligi uchun bizda mavjud

1.Vanilla Oldinga o'tish

• Yashirin faollashtirishning to'liq ketma-ketligini t = 1 dan boshlab va har bir qadamda t ni oshirib, uchta tenglamani rekursiv qo'llash orqali hisoblash mumkin.

2.Vanilla orqaga o'tish

• Maqsad funksiyasining tarmoq natijalariga nisbatan qisman hosilalarini hisobga olsak, endi og‘irliklarga nisbatan hosilalari kerak bo‘ladi.
• Biz BPTT ga e'tibor qaratamiz, chunki u kontseptual jihatdan soddaroq va hisoblash vaqtida samaraliroq (xotirada bo'lmasa ham). Standart orqaga tarqalish kabi, BPTT zanjir qoidasini takroriy qo'llashdan iborat.