O'quv yili: 2021-2022, Semestr: 6-semestr, Mutaxassislik

Sequence-to-sequence modeli

Tizimli ketma-ketlik modellari ko'pincha ikkita takroriy tarmoqlardan iborat: kirishni qayta ishlaydigan kodlovchi va chiqishni bajaradigan dekoder.
Sequence-to-Sequence modellari ko'pincha Savol-javob tizimlarida, chat-botlarda va mashinalarni tarjima qilishda qo'llaniladi. Ushbu qatlamli hujayralar "Neur Networks" ni o'rganish bilan "Sequence to Sequence Learning" dasturida ketma-ketlik bilan tarjima modellarida muvaffaqiyatli ishlatilgan.
Rekursiv Autoencoder yordamida parafraziyani aniqlash yangi rekursiv avtoenkoder arxitekturasini taqdim etadi, unda tasvirlar n-o'lchovli semantik fazoda vektorlar, o'xshash ma'nolarga ega iboralar birbiriga yaqin.

6. 
   Shallow neyron tarmoqlari Shallow modellar, chuqur neyron tarmoqlari singari, mashhur va foydali vositalardir. Masalan, word2vec - bu so'z birikmalarini yaratish uchun ishlatiladigan sayoz ikki qavatli modellar guruhidir. Vektorli bo'shliqda so'zlar vakilligini samarali baholashda joriy etilgan word2vec kiritish sifatida matnning katta qismini oladi va vektor maydonini yaratadi. Ushbu korpusdagi har bir so'zga ushbu bo'shliqda tegishli vektor beriladi. Ajratib turuvchi xususiyat - korpusdagi oddiy matnlardan olingan so'zlar vektor bo'shliqlarida bir-biriga yaqin joylashgan.
   

Tasvirni aniqlashda neyron tarmoqlarni qo'llash
Neyron tarmoqlar haqida rasmiylashtirish qiyin bo'lgan vazifalarni hal qilish vositasi sifatida allaqachon ko'p narsa aytilgan. Va bu erda, Xabreda, bu tarmoqlarni captcha yorilish muammosi bilan bog'liq tasvirni aniqlash uchun qanday ishlatish ko'rsatildi. Biroq, neyron tarmoqlarining juda oz turlari mavjud. Klassik ravishda to'liq ulangan neyron tarmoq (PNN) tasvirni tanib olish (tasniflash) muammosi uchun juda yaxshi emasmi?

1. Vazifa

Shunday qilib, biz tasvirni aniqlash muammosini hal qilmoqchimiz. Bu yuzlar, narsalar, belgilar va boshqalarni tanib olish bo'lishi mumkin. Qo'lda yozilgan raqamlarni tanib olish muammosini ko'rib chiqishni boshlashni taklif qilaman. Ushbu vazifa bir necha sabablarga ko'ra yaxshi:

• 
  Qo'lda yozilgan belgini tanib olish uchun rasmiylashtirilgan (aqlsiz) algoritmni tuzish juda qiyin va agar siz turli odamlar tomonidan yozilgan sonlarga qarasangiz, ravshan bo'ladi.
  
• 
  Vazifa juda dolzarb va OCR (belgilarni optik aniqlash) bilan bog'liq.
  
• 
  Yuklab olish va tajriba qilish uchun qo'lda yozilgan belgilarning erkin tarqatilgan bazasi mavjud
  
• 
  Ushbu mavzu bo'yicha bir nechta maqola mavjud va turli xil yondashuvlarni taqqoslash juda oson va qulaydir
  

Kirish sifatida MNIST ma'lumotlar bazasidan foydalanish tavsiya etiladi. Ushbu ma'lumotlar bazasida 60 000 ta o'quv juftligi (rasm - yorliq) va 10000 test (yorliqlarsiz rasmlar) mavjud. Rasmlar o'lchamda va o'rtada normallashtirilgan. Har bir raqamning o'lchami 20x20 dan oshmaydi, lekin ular 28x28 kvadratga yozilgan. Rasmda MNIST ma'lumotlar bazasining dastlabki 12 ta raqamiga misol keltirilgan:

Shunday qilib, vazifa quyidagicha shakllantirilgan: qo'lda yozilgan belgilarni tanib olish uchun neyron tarmog'ini yarating va o'rgating, kirishda ularning rasmlarini oling va 10 ta chiqishdan birini faollashtiring. Aktivatsiya deganda biz chiqishdagi 1 qiymatini bildiramiz. Bunday holda, boshqa mahsulotlarning qiymatlari (ideal holda) -1 ga teng bo'lishi kerak. Keyinchalik tushuntiraman, nima uchun [0.1] shkalasi ishlatilmaydi.