4 Ma’ruza Sun'iy neyron tarmoqlar (snt) ning tasnifi va ishlash tamoyillari

Takroriy (recurrent) neyron tarmoq (TNT) an'anaviy neyron tarmoqdan farq qiladi, chunki u uzoq vaqt davomida ma'lumot uzatishda W o'tish og'irligini kiritadi. 10.4-rasmda RNNda o'quv jarayonida olinishi kerak bo'lgan uchta vazn matritsasi ko'rsatilgan. O'tish vaznining kiritilishi keyingi holat endi oldingi modelga, shuningdek, oldingi holatga bog'liqligini anglatadi. Bu shuni anglatadiki, bizning modelimiz endi qilgan ishini "eslab qoladi"!

Takroriy neyron tarmoqlar ketma-ket ma'lumotlar to'plamidan foydalanish uchun mo'ljallangan. Ovozli signallar video signallardan kichikroq bo'lgani uchun (chiziqli signal va 2D pikselli massiv), audio vaqt seriyasidan boshlash ancha oson.
Tavsif

1-rasm. RNN va uning kengaytirilgan tasviri [1]

Rasm 2. Takrorlanuvchi tarmoq qatlamining sxemasi [2]
Takroriy neyron tarmoqlar ketma-ketliklarni qayta ishlash uchun juda mos bo'lgan tsikllarga ega tarmoqlardir (1-rasm).

Shakl 3. Yashirin qatlam kechikishi bilan RNN

4-rasm. RNNni tozalash
RNNni o'rgatish oddiy neyron tarmog'ini o'qitishga o'xshaydi. Biz orqaga tarqalish algoritmidan ham foydalanamiz, lekin biroz o'zgarish bilan. Tarmoqning barcha vaqt bosqichlarida bir xil parametrlar qo'llanilganligi sababli, har bir chiqishdagi gradient nafaqat joriy qadamning hisob-kitoblariga, balki oldingi vaqt bosqichlariga ham bog'liq (4-rasm). Masalan, ketma-ketlikning to'rtinchi elementi uchun gradientni hisoblash uchun biz "xatoni 3 bosqichga ko'paytirishimiz" va gradientlarni yig'ishimiz kerak. Bu algoritm vaqt davomida orqaga tarqalish (BPTT) deb ataladi.[3][4]
Vaqt bo'yicha xatolarni orqaga yoyish algoritmi:

Hududlar va qo'llash misollari
Ular ketma-ketlikka rioya qilish muhim bo'lganda, kiruvchi ob'ektlarning tartibi muhim bo'lganda qo'llaniladi.
• Tabiiy tildagi matnni qayta ishlash:
• Matnni tahlil qilish;
• Avtomatik tarjima;
• Audioni qayta ishlash:
• Nutqni avtomatik aniqlash;
• Videoga ishlov berish:
• Oldingi kadrlar asosida keyingi kadrlarni bashorat qilish;
• hissiyotlarni tan olish;
• Rasmga ishlov berish:
• Atrof-muhitga asoslangan keyingi pikselni bashorat qilish;
• Tasvir tavsiflarini yaratish.