Keyin biz lstm arxitekturasini taqdim etamiz

Uzoq qisqa muddatli xotira (LSTM) tarmog'i yo'qolib borayotgan gradient muammosining eng mashhur yechimidir. Takroriy neyron tarmoqlardan (RNN) foydalanishdagi asosiy to'siqni qanday qilib oqlangan tarzda olib tashlashni o'rganishga tayyormisiz?
Avvalo, biz bir oz tarixni ko'rib chiqamiz: LSTM nimadan kelib chiqqan, uning ortidagi asosiy g'oya nima edi, nima uchun odamlar uni ixtiro qilgan.
Keyin biz LSTM arxitekturasini taqdim etamiz.
Va nihoyat, biz misol uchun ko'rsatmalarga ega bo'lamiz.
Yo‘qolib borayotgan gradient muammosini yangilang
LSTMlar yo'qolib borayotgan gradient muammosini hal qilish uchun yaratilgan. Shunday qilib, keling, ushbu masala bo'yicha qisqacha eslatib o'tamiz.

Xatoni tarmoq orqali targ'ib qilganimizda, u ochilmagan vaqtinchalik halqadan o'tishi kerak - yashirin qatlamlar o'z vaqtida og'irliklar yordamida o'zlariga bog'langan. Chunki bu og'irlik o'z ustiga ko'p marta qo'llaniladi, bu gradientning tez pasayishiga olib keladi.

Natijada, eng chap tomondagi qatlamlarning og'irliklari eng o'ngdagi qatlamlarning og'irligiga qaraganda ancha sekin yangilanadi. Bu domino effektini yaratadi, chunki o'ta chap qatlamlarning og'irligi o'ta o'ng qatlamlarga kirishni aniqlaydi. Shu sababli, tarmoqning butun mashg'ulotlari zarar ko'radi va bu yo'qolgan gradient muammosi deb ataladi. biz, shuningdek, qoida tariqasida, agar wrec kichik bo'lsa - gradient yo'qoladi va agar wrec katta bo'lsa - gradient portlashini aniqladik. Ammo bu kontekstda "katta" va "kichik" nima? Darhaqiqat, agar wrec < 1 bo'lsa, bizda yo'q bo'lib ketadigan gradient va agar wrec > 1 bo'lsa, portlovchi gradient bor, deb aytishimiz mumkin. Keyin, bu muammoni hal qilish uchun xayolingizga birinchi navbatda nima keladi?

Ehtimol, eng oson va eng tez yechim wrec = 1 ni yaratish bo'ladi. LSTMlarda aynan shunday qilingan. Albatta, bu juda soddalashtirilgan tushuntirish, lekin umuman olganda, takroriy og'irlikni birga tenglashtirish LSTMlarning asosiy g'oyasidir.

Keling, LSTM arxitekturasini chuqurroq o'rganamiz. Uzoq qisqa muddatli xotira tarmog'i birinchi bo'lib 1997 yilda Zepp Xokrayter va uning ilmiy rahbari tomonidan fan nomzodi ilmiy darajasini olish uchun taqdim etilgan. Yurgen Shmidxuber dissertatsiyasi. Bu yo'qolib borayotgan gradient muammosiga juda oqlangan yechim taklif qiladi.
Umumiy koʻrinish
Sizga LSTM tarmoqlarining eng oddiy va tushunarli rasmlarini taqdim etish uchun biz Kristofer Olah o'zining blog posti uchun yaratgan tasvirlardan foydalanamiz, u erda u LSTM ni oddiy so'zlar bilan tushuntirish bo'yicha ajoyib ishni bajaradi.Shunday qilib, quyidagi birinchi rasm standart RNN ichkaridan qanday ko'rinishini ko'rsatadi.Markaziy blokdagi yashirin qatlam kirish qatlamidan xt kirishini va t-1 vaqt nuqtasida o'zidan ham qabul qiladi, keyin u ht chiqishini va o'zi uchun boshqa kirishni hosil qiladi, lekin t+1 vaqt nuqtasida.Bu yo'qolgan gradient muammosini hal qilmaydigan standart arxitektura. Keyingi rasmda LSTM qanday ko'rinishi ko'rsatilgan.Bu boshida juda murakkab ko'rinishi mumkin, ammo tashvishlanmang!Biz sizni ushbu arxitektura bilan tanishtiramiz va bu erda nima sodir bo'layotganini batafsil tushuntiramiz.Ushbu maqolaning oxiriga kelib, siz LSTM-larda navigatsiya qilishda to'liq qulay bo'lasiz.
Esingizda bo'lsa, biz LSTM larda wrec = 1 degan da'vo bilan boshlagan edik. Bu xususiyat sxemaning tepasida to'g'ridan-to'g'ri quvur liniyasi sifatida aks ettiriladi va odatda xotira katagiga havola qilinadi. Vaqt o'tishi bilan u juda erkin oqishi mumkin. Ba'zida u o'chirilishi yoki o'chirilishi mumkin bo'lsa-da, ba'zida unga ba'zi narsalar qo'shilishi mumkin. Aks holda, u vaqt davomida erkin o'tadi va shuning uchun siz ushbu LSTMlar orqali orqaga tarqalayotganingizda, sizda yo'qolib borayotgan gradient muammosi bo'lmaydi.
.