Keyin biz lstm arxitekturasini taqdim etamiz

GRU qanday ishlaydi?
Yuqorida aytib o'tilganidek, GRU standart takrorlanuvchi neyron tarmog'ining takomillashtirilgan versiyasidir. Lekin nima ularni bunchalik maxsus va samarali qiladi?
Standart RNNning yo'qolib borayotgan gradient muammosini hal qilish uchun GRU yangilanish va qayta o'rnatish eshigi deb ataladigan narsadan foydalanadi. Asosan, bu ikkita vektor bo'lib, ular qanday ma'lumotni chiqishga o'tkazish kerakligini hal qiladi. Ularning o'ziga xos tomoni shundaki, ularni vaqt o'tishi bilan yuvmasdan yoki bashorat qilish uchun ahamiyatsiz ma'lumotlarni olib tashlamasdan, uzoq vaqtdan beri ma'lumotni saqlashga o'rgatish mumkin.
Standart RNNning yo'qolib borayotgan gradient muammosini hal qilish uchun GRU yangilanish va qayta o'rnatish eshigi deb ataladigan narsadan foydalanadi. Asosan, bu ikkita vektor bo'lib, ular qanday ma'lumotni chiqishga o'tkazish kerakligini hal qiladi. Ularning o'ziga xos tomoni shundaki, ularni vaqt o'tishi bilan yuvmasdan yoki bashorat qilish uchun ahamiyatsiz ma'lumotlarni olib tashlamasdan, uzoq vaqtdan beri ma'lumotni saqlashga o'rgatish mumkin.
Ushbu jarayon ortidagi matematikani tushuntirish uchun biz quyidagi takrorlanuvchi neyron tarmog'idan bitta birlikni ko'rib chiqamiz: