Keyin biz lstm arxitekturasini taqdim etamiz

Nuqta yo'nalishi bo'yicha operatsiya: sxema bo'yicha beshta nuqta bo'yicha operatsiya mavjud va ular uch xil:
"x" yoki valflar (valfni, xotira klapanini va chiqish valfini unutish) - sxema bo'yicha nuqtalar, siz o'zingizning quvur liniyasini oqim uchun ochishingiz, yopishingiz yoki ma'lum darajada ochishingiz mumkin. Misol uchun, yuqoridagi sxemaning yuqori o'ng tomonidagi unutish valfi qatlam operatsiyasi s tomonidan boshqariladi. Ushbu sigmasimon faollashtirish funktsiyasi (0 dan 1 gacha) qaroriga asoslanib, vana ma'lum darajada yopiq, ochiq yoki yopiq bo'ladi. Agar u ochiq bo'lsa, xotira ct-1 dan ct gacha erkin oqadi. Agar u yopilgan bo'lsa, xotira uziladi va ehtimol yangi xotira quvur liniyasiga qo'shiladi, bu erda boshqa nuqta bo'yicha operatsiya tasvirlangan.
"+" - t-shaklli bo'g'in, bu erda sizda xotira o'tadi va bu bo'g'in ostidagi xotira klapan ochiq bo'lsa, qo'shimcha xotira qo'shishingiz mumkin.
"tanh" - qiymatni -1 dan 1 gacha bo'lgan oraliqda o'zgartirish uchun javobgardir (ma'lum matematik mulohazalar tufayli talab qilinadI
RNNning jozibadorliklaridan biri bu oldingi ma'lumotni hozirgi vazifaga ulashi mumkinligi haqidagi fikrdir, masalan, oldingi video kadrlardan foydalanish hozirgi kadrni tushunishga yordam beradi. Agar RNN buni qila olsa, ular juda foydali bo'lar edi. Lekin ular mumkinmi? Ga bog'liq.

Ba'zan, biz hozirgi vazifani bajarish uchun faqat oxirgi ma'lumotlarni ko'rib chiqishimiz kerak. Misol uchun, oldingi so'zlar asosida keyingi so'zni bashorat qilishga urinayotgan til modelini ko'rib chiqing. Agar biz "bulutlar osmonda" so'zining oxirgi so'zini taxmin qilmoqchi bo'lsak, bizga boshqa kontekst kerak emas - keyingi so'z osmon bo'lishi aniq. Bunday hollarda, tegishli ma'lumotlar va kerakli joy o'rtasidagi bo'shliq kichik bo'lsa, RNN o'tmishdagi ma'lumotlardan foydalanishni o'rganishi mumkin.

LSTMlar RNN bilan nimaga erishishimiz mumkin bo'lgan katta qadam edi. Ajablanish tabiiy: yana bir katta qadam bormi? Tadqiqotchilar orasida keng tarqalgan fikr: “Ha! Keyingi qadam bor va bu diqqat! ” G'oya RNN ning har bir qadamini kattaroq ma'lumotlar to'plamidan ko'rish uchun ma'lumot tanlashga imkon berishdir.
Yoki masalan, agar siz tasvirni tavsiflovchi sarlavha yaratish uchun RNN dan foydalanayotgan bo'lsangiz, u chiqadigan har bir so'zni ko'rish uchun tasvirning bir qismini tanlashi mumkin. Aslida, Xu va boshqalar. (2015) aynan shunday qiling - diqqatni o'rganishni istasangiz, bu qiziqarli boshlanish nuqtasi bo'lishi mumkin! Diqqatdan foydalangan holda bir qancha hayajonli natijalarga erishildi va ko'rinishidan yana ko'p narsa borga o'xshaydi...
Ammo ko'proq kontekstga muhtoj bo'lgan holatlar ham bor. Matndagi so'nggi so'zni taxmin qilishga urinib ko'ring: "Men Frantsiyada o'sganman ... men frantsuz tilida ravon gapiraman." So'nggi ma'lumotlarga ko'ra, keyingi so'z tilning nomi bo'lishi mumkin, ammo biz qaysi tilni toraytirmoqchi bo'lsak, bizga Frantsiya konteksti kerak. Tegishli ma'lumotlar va kerakli nuqta o'rtasidagi bo'shliq juda katta bo'lishi mumkin.
Afsuski, bu bo'shliq oshgani sayin, RNN ma'lumotlarni ulashni o'rgana
olmaydi.

-____________________________________________________

Ushbu maqolada men neyron tarmog'ining haqiqatan ham qiziqarli turini juda oddiy va tushunarli tushuntirishga harakat qilaman. Cho va boshqalar tomonidan kiritilgan. 2014 yilda GRU (Gated Recurrent Unit) standart takrorlanuvchi neyron tarmog'i bilan birga keladigan yo'qolib borayotgan gradient muammosini hal qilishga qaratilgan. GRU ni LSTM ning o'zgarishi sifatida ham ko'rib chiqish mumkin, chunki ikkalasi ham o'xshash tarzda ishlab chiqilgan va ba'zi hollarda bir xil darajada ajoyib natijalar beradi. Agar siz Recurrent Neyron Networks bilan tanish bo'lmasangiz, men qisqacha kirishimni o'qishni tavsiya qilaman. LSTM ni yaxshiroq tushunish uchun ko'pchilik Kristofer Olahning maqolasini tavsiya qiladi. Men GRU va LSTM o'rtasidagi aniq farqni ko'rsatadigan ushbu qog'ozni ham qo'shgan bo'lardim.