Recurrent Neural Network

1. Ta’rif

• Yuqorida aytib o'tilganidek, standart RNN arxitekturalari uchun kirish mumkin bo'lgan kontekst doirasi cheklangan.
• Muammo shundaki, ma'lum bir kirishning yashirin qatlamga va shuning uchun tarmoq chiqishiga ta'siri tarmoqning takroriy ulanishlari atrofida aylanayotganda pasayadi yoki yuqori darajaga ko'tariladi.
• Hozirgacha eng samarali yechim Long Short TermMemory (LSTM) arxitekturasidir (Hochreiter va Schmidhuber, 1997).
• LSTM arxitekturasi xotira bloklari deb nomlanuvchi takroriy bog‘langan pastki tarmoqlar to‘plamidan iborat. Ushbu bloklar raqamli xotira chiplarining farqlanadigan versiyasi deb o'ylashlari mumkinkompyuter. Har bir blokda bir yoki bir nechta o'z-o'zidan ulangan xotira xujayralari va hujayralar uchun yozish, o'qish va tiklash operatsiyalarining uzluksiz analoglarini ta'minlaydigan uchta ko'paytiruvchi birlik mavjud.
• Kirish, chiqish va unutish eshiklari.

1. Ta’rif

• Multiplikativ eshiklar LSTMxotira hujayralarini saqlash va kirish imkonini beradiuzoq vaqt davomida ma'lumotlar,Shunday qilib, yo'qolgan gradientdan qochadimuammo
• Masalan, kirish eshigi ekanyopiq qoladi (ya'ni faollashtirilgan0 ga yaqin), hujayraning faollashishiyangisi ustiga yozilmayditarmoqqa kiruvchi kirishlar va mumkinshuning uchun tarmoqqa taqdim etilishi mumkinancha keyin ketma-ketlikda, ochish orqalichiqish eshigi.

1. Ta’rif

• Taqqoslash

2. Oldinga o'tish

• Asosan juda o'xshashvanil RNN oldinga o'tish
• Lekin bu juda ko'pmurakkab
• Orqaga qarab harakat qila olasizmi?o'zingiz o'tib ketasizmi?
• Tez viktorina, oqni olingqog'oz varag'i. O'zingizni yozingtalaba raqami va ismi.
• Biz sizga 10 bermoqchimizdaqiqa
• Muhokama yo’q
• Yakuniy baholaringizning 10%

3. Orqaga o'tish

• Hazillashayapman! Matematikada orqaga o'tishni olingga juda o'xshash bo'lishi kerak vanilda ishlatiladigan RNN orqaga o'tish
• Lekin bu juda ko'pham murakkab...
• Biz hosil qilmoqchi emasmizbu sinfda