Recurrent Neural Network

2.Vanilla orqaga o'tish

• Vaqt o'tishi bilan orqaga tarqalish
• Chiroyli ismga aldanmang. Bu shunchaki standart orqaga tarqalish.

2.Vanilla orqaga o'tish

• Vaqt o'tishi bilan orqaga tarqalish
• Delta atamalarining to'liq ketma-ketligini t = T dan boshlab va quyidagi funktsiyalarni rekursiv qo'llash orqali, har bir qadamda t ni kamaytirish orqali hisoblash mumkin.
• E'tibor bering , ketma-ketlikning oxiridan hech qanday xato olinmaydi.
• Nihoyat, yashirin qatlamdagi va birlik uchun og'irliklar har bir vaqt bosqichida bir xil ekanligini hisobga olib, tarmoq og'irliklarining har biriga nisbatan hosilalarni olish uchun butun ketma-ketlikni yig'amiz.

3. Vanilla ikki tomonlama o'tish

• Ko'p ketma-ketlik yorliqlash vazifalari uchun biz kelajakka kirishni xohlaymiz

3. Vanilla ikki tomonlama o'tish

• Algoritm shunday ko'rinadi

4. Vanilla RNNni o'rgatish

• Hozirgacha biz RNNni mos maqsadli funktsiyalar bo'yicha qanday ajratish mumkinligini muhokama qildik va u erda ularni har qanday gradientga asoslangan algoritm bilan o'rgatish mumkin edi.
• Ularni oddiy CNN sifatida qabul qiling
• RNN haqida ajoyib narsalardan biri: ko'plab muhandislik tanlovlari
• Oldindan ishlov berish va keyingi ishlov berish

5. Yo'qolib borayotgan va portlovchi gradient muammolar

• Backprop paytida har bir bosqichda bir xil matritsani ko'paytiring

5. Yo'qolib borayotgan va portlovchi gradient muammolar

• O'yinchoq misolida gradient qanday yo'qoladi
• Shunga o'xshash, ammo oddiyroq RNN formulasi:
• Yechimlar?
• Yo'qolgan gradientlar uchun: Initialization + ReLus
• Gradientni portlatish uchun hiyla: kesish nayrangi

Uchinchi qism

Vanildan LSTM gacha

• Ta’rif
• Oldinga o'tish
• Orqaga o'tish