Qadam funktsiyasi sigmoida giperbolik tangens funktsiyasi Chiziqli rektifikator funktsiyasi

4. Takrorlanadigan neyron tarmoq
To'g'ridan-to'g'ri neyron tarmog'idan farqli o'laroq, takroriy neyron tarmog'i, neyronlar orasidagi ulanishlar siklga yo'naltirilgan rekursiv SNTning bir variantidir. Ikkinchisi chiqish ma'lumotlari nafaqat joriy kirishga, balki oldingi bosqichda neyronning holatiga ham bog'liqligini anglatadi. Ushbu xotira foydalanuvchilarga NLP vazifalarini hal qilishga imkon beradi: qo'l yozuvi yoki nutqni aniqlash. Tabiiy tillarni yaratish, takroriy neyron tarmoqlar yordamida foydalanuvchi sharhlarini qisqacha bayon qilish va sarhisob qilish maqolasida mualliflar yangi jumlalar va matnli hujjat xulosalarini yaratadigan takroriy tarmoq modelini namoyish etadi.
Siwei Lai, Liheng Xu, Kang Liu va Jun Chhao o'zlarining ishlarida matnni tasniflash uchun takrorlanadigan konvolyutsion neyron tarmoqlari, odam tomonidan yaratilgan xususiyatlarsiz matn tasnifi uchun takroriy konvulsion neyron tarmog'ini yaratdilar. Model mavjud matnlarni tasniflash usullari bilan taqqoslangan - "Bagaj so'zlar", "Bigrams + LR", "SVM", "LDA", "daraxt kernellari", rekursiv va konvulsion tarmoqlar. Ta'riflangan model barcha ishlatiladigan ma'lumotlar to'plamlari uchun an'anaviy usullardan ustundir.
5. LSTM

Kirish, chiqish va unutish eshigi bo'lgan LSTM bloki
Uzoq muddatli qisqa muddatli xotira (LSTM) tarmog'i an'anaviy takroriy tarmoqqa qaraganda vaqt ketma-ketligini va ularning uzoq muddatli qaramligini yanada aniqroq modellashtirish uchun mo'ljallangan takroriy neyron tarmoq arxitekturasining bir turi. LSTM tarmog'i takroriy tarkibiy qismlarda faollashtirish funktsiyasidan foydalanmaydi, saqlangan qiymatlar o'zgartirilmaydi va mashg'ulot paytida gradient yo'qolmaydi. LSTM ko'pincha bir nechta elementlarning bloklarida ishlatiladi. Ushbu bloklar logistik funktsiyaga muvofiq axborot oqimining qurilishini boshqaruvchi 3 yoki 4 eshikdan (masalan, kirish, chiqish va unutish shlyuzi) iborat.
Katta miqyosli akustik modellashtirish uchun uzoq muddatli qisqa muddatli xotirada takroriy neyron tarmoq arxitekturalarida mualliflar keng miqyosli akustik modellashtirish uchun yaxshi natijalarga erishadigan chuqur LSTM takroriy tarmoq arxitekturasini namoyish etadilar.
Ikki tomonlama uzoq muddatli qisqa muddatli xotira takroriy neyron tarmog'i yordamida nutqni qismlarga ajratish avtomatik morfologik etiketkalash uchun modelni taqdim etadi. Model markalash vazifasida 97,4% aniqlikni ko'rsatadi. Apple, Amazon, Google, Microsoft va boshqalar LSTM tarmoqlarini o'z mahsulotlariga asosiy element sifatida kiritdilar.