Amaliy matematika” yo‘nalishi 21. 08-guruh talabasi Mamasodiqova Mubina Sattorali qizining

Rekurrent to'rlar.

Neyron tarmoq inson miyasining tuzilishi va funktsiyasi ustida ishlaydigan bir-biriga bog'langan turli qatlamlardan iborat. U katta hajmdagi ma'lumotlardan o'rganadi va neyron tarmog'ini o'qitish uchun murakkab algoritmlardan foydalanadi.
Bu yerda neyron tarmoqlari it zotini ularning xususiyatlariga ko‘ra aniqlashiga misol.
Ikki xil zotli itlarning tasvir piksellari neyron tarmoqning kirish qatlamiga beriladi.
Keyin tasvir piksellari xususiyatlarni olish uchun yashirin qatlamlarda qayta ishlanadi.
Chiqish qatlami nemis cho'pon yoki labrador ekanligini aniqlash uchun natija beradi.
Bunday tarmoqlar o'tgan chiqishni yodlashni talab qilmaydi.
Bir nechta neyron tarmoqlar turli biznes muammolarini hal qilishga yordam beradi. Keling, ulardan bir nechtasini ko'rib chiqaylik.
Oldinga uzatish neyron tarmog'i: Umumiy regressiya va tasniflash muammolari uchun ishlatiladi.
Konvolyutsion neyron tarmog'i: ob'ektni aniqlash va tasvirni tasniflash uchun ishlatiladi.
Deep Belief Network: Sog'liqni saqlash sohalarida saraton kasalligini aniqlash uchun ishlatiladi.
RNN: nutqni aniqlash, ovozni aniqlash, vaqt seriyalarini bashorat qilish va tabiiy tilni qayta ishlash uchun ishlatiladi .
RNN ma'lum bir qatlamning chiqishini saqlash va qatlamning chiqishini bashorat qilish uchun uni kirishga qaytarish printsipi asosida ishlaydi.
Quyida uzatiladigan neyron tarmog'ini takroriy neyron tarmog'iga qanday o'zgartirishingiz mumkin:
Neyron tarmoqning turli qatlamlaridagi tugunlar takrorlanuvchi neyron tarmoqlarining yagona qatlamini hosil qilish uchun siqiladi. A, B va C - tarmoq parametrlari.
RNN neyron tarmog'ida bir nechta muammolar mavjudligi sababli yaratilgan:

Ketma-ket ma'lumotlarni qayta ishlash mumkin emas

Faqat joriy kirishni hisobga oladi
Oldingi maʼlumotlarni eslab boʻlmaydi
Ushbu muammolarni hal qilish RNN hisoblanadi. RNN ketma-ket ma'lumotlarni qayta ishlay oladi, joriy kirish ma'lumotlarini va ilgari qabul qilingan ma'lumotlarni qabul qiladi. RNNlar ichki xotirasi tufayli oldingi kirishlarni yodlab olishlari mumkin.
Takroriy neyron tarmoqlarda ma'lumotlar tsikl bo'ylab o'rta yashirin qatlamga aylanadi.
"X" kirish qatlami neyron tarmoqqa kirishni oladi va uni qayta ishlaydi va o'rta qatlamga o'tkazadi.

O'rta "h" qatlami bir nechta yashirin qatlamlardan iborat bo'lishi mumkin, ularning har biri o'z faollashtirish funktsiyalari va og'irliklari va moyilliklariga ega. Agar sizda turli xil yashirin qatlamlarning turli parametrlari oldingi qatlam ta'sir qilmaydigan neyron tarmog'ingiz bo'lsa, ya'ni: neyron tarmoq xotiraga ega bo'lmasa, u holda takroriy neyron tarmoqdan foydalanishingiz mumkin.

Takroriy neyron tarmog'i har bir yashirin qatlam bir xil parametrlarga ega bo'lishi uchun turli faollashtirish funktsiyalari va og'irliklari va moyilliklarini standartlashtiradi. Keyin, bir nechta yashirin qatlamlarni yaratish o'rniga, u bittasini yaratadi va kerak bo'lganda ko'p marta aylantiradi.

Oldinga uzatiladigan neyron tarmoqlar va takroriy neyron tarmoqlar

Oldinga yo'naltirilgan neyron tarmog'i axborotni faqat oldinga yo'nalishda, kirish tugunlaridan yashirin qatlamlar orqali va chiqish tugunlariga oqish imkonini beradi. Tarmoqda hech qanday tsikl yoki tsikl yo'q.

Quyida oldinga uzatiladigan neyron tarmog'ining soddalashtirilgan taqdimoti qanday ko'rinishga ega:

Oldinga uzatiladigan neyron tarmog'ida qarorlar joriy kirishga asoslanadi. U o'tmishdagi ma'lumotlarni eslab qolmaydi va kelajakda foydalanish imkoniyati yo'q. Oldinga neyron tarmoqlari umumiy regressiya va tasniflash muammolarida qo'llaniladi.
Takroriy neyron tarmoqlarning ilovalari
Tasvirga izoh
RNNlar mavjud faoliyatni tahlil qilish orqali tasvirga sarlavha qo'yish uchun ishlatiladi.

Vaqt seriyasi bashorati
Vaqt seriyasining har qanday muammosi, masalan, ma'lum bir oydagi aktsiyalarning narxini bashorat qilish, RNN yordamida hal qilinishi mumkin.

Tabiiy tilni qayta ishlash

Matnni qazib olish va hissiyotlarni tahlil qilish tabiiy tilni qayta ishlash uchun RNN (NLP) yordamida amalga oshirilishi mumkin.

Mashina tarjimasi
Bitta tilda kiritilgan ma'lumotlarni hisobga olgan holda, RNNlar kirishni chiqish sifatida turli tillarga tarjima qilish uchun ishlatilishi mumkin.

Takroriy neyron tarmog'ining afzalliklari
Takroriy neyron tarmoqlari (RNN) neyron tarmoqlarning boshqa turlariga nisbatan bir qator afzalliklarga ega, jumladan:

O'zgaruvchan uzunlikdagi ketma-ketliklarni boshqarish qobiliyati

RNNlar o'zgaruvchan uzunlikdagi kirish ketma-ketliklarini boshqarish uchun mo'ljallangan, bu ularni nutqni aniqlash, tabiiy tilni qayta ishlash va vaqt seriyalarini tahlil qilish kabi vazifalar uchun juda mos keladi.
O'tmishdagi kirishlar xotirasi
RNN-lar o'tmishdagi kirishlar xotirasiga ega, bu ularga kirish ketma-ketligi konteksti haqida ma'lumot olish imkonini beradi. Bu ularni tilni modellashtirish kabi vazifalar uchun foydali qiladi, bu erda so'zning ma'nosi u paydo bo'lgan kontekstga bog'liq.
Parametrlarni almashish
RNN barcha vaqt bosqichlarida bir xil parametrlar to'plamiga ega, bu o'rganish kerak bo'lgan parametrlar sonini kamaytiradi va yaxshiroq umumlashtirishga olib kelishi mumkin.
Chiziqsiz xaritalash
RNNlar chiziqli bo'lmagan faollashtirish funktsiyalaridan foydalanadilar, bu ularga kirish va chiqishlar orasidagi murakkab, chiziqli bo'lmagan xaritalarni o'rganish imkonini beradi.
Ketma-ket ishlov berish
RNNlar kirish ketma-ketliklarini ketma-ket qayta ishlaydi, bu ularni hisoblash jihatidan samarali va parallellashtirishni osonlashtiradi.
Moslashuvchanlik
RNNlar matn, nutq va tasvir ketma-ketligini o'z ichiga olgan vazifalar va kiritish turlarining keng doirasiga moslashtirilishi mumkin.
Yaxshilangan aniqlik
RNNlar ketma-ketlikni modellashtirishning turli vazifalari, jumladan, tilni modellashtirish, nutqni aniqlash va mashina tarjimasi bo'yicha eng zamonaviy ko'rsatkichlarga erishishi ko'rsatilgan.

Bu afzalliklar RNN ni ketma-ketlikni modellashtirish va tahlil qilish uchun kuchli vositaga aylantiradi va ularning turli xil ilovalarda, jumladan, tabiiy tilni qayta ishlash, nutqni aniqlash va vaqt seriyalarini tahlil qilishda keng qo'llanilishiga olib keldi.

Takroriy neyron tarmog'ining kamchiliklari
Takroriy neyron tarmoqlari (RNN) bir qator afzalliklarga ega bo'lsa-da, ularning ba'zi kamchiliklari ham mavjud. RNN ning asosiy kamchiliklari:
Yo'qolib borayotgan va portlovchi gradientlar
RNNlar gradientlarning yo'qolishi yoki portlashi muammosidan aziyat chekishi mumkin, bu esa tarmoqni samarali o'qitishni qiyinlashtirishi mumkin. Bu yo'qotish funksiyasining parametrlarga nisbatan gradientlari vaqt o'tishi bilan tarqalayotganda juda kichik yoki juda katta bo'lganda sodir bo'ladi.
Hisoblashning murakkabligi
RNNlarni o'qitish, ayniqsa uzoq ketma-ketliklar bilan ishlashda hisoblash qimmat bo'lishi mumkin. Buning sababi shundaki, tarmoq har bir kirishni ketma-ketlikda qayta ishlashi kerak, bu sekin bo'lishi mumkin.
Uzoq muddatli qaramlikni qo'lga kiritishda qiyinchilik
RNNlar o'tmishdagi kirishlar haqida ma'lumot olish uchun mo'ljallangan bo'lsa-da, ular kirish ketma-ketligidagi uzoq muddatli bog'liqliklarni qo'lga kiritish uchun kurashishlari mumkin. Buning sababi shundaki, vaqt o'tishi bilan gradientlar juda kichik bo'lib qolishi mumkin, bu esa tarmoqning muhim ma'lumotlarni unutishiga olib kelishi mumkin.
Parallellikning yo'qligi
RNNlar tabiatan ketma-ket bo'lib, bu hisoblashni parallellashtirishni qiyinlashtiradi. Bu tarmoqning tezligi va miqyosini cheklashi mumkin.
To'g'ri arxitekturani tanlashda qiyinchilik
RNN ning turli xil variantlari mavjud, ularning har biri o'zining afzalliklari va kamchiliklariga ega. Berilgan vazifa uchun to'g'ri arxitekturani tanlash qiyin bo'lishi mumkin va keng ko'lamli tajriba va sozlashni talab qilishi mumkin.
Natijani talqin qilishda qiyinchilik
RNN chiqishini izohlash qiyin bo'lishi mumkin, ayniqsa tabiiy til yoki audio kabi murakkab kirishlar bilan ishlashda. Bu tarmoq qanday bashorat qilayotganini tushunishni qiyinlashtirishi mumkin.
Ushbu kamchiliklar ma'lum bir vazifa uchun RNN dan foydalanish to'g'risida qaror qabul qilishda muhim ahamiyatga ega. Biroq, ushbu muammolarning ko'pchiligi tarmoqni diqqat bilan loyihalash va o'qitish, shuningdek, tartibga solish va e'tibor mexanizmlari kabi usullar orqali hal qilinishi mumkin.
Takroriy neyron tarmoqlarning turlari
Takroriy neyron tarmoqlarning to'rt turi mavjud:
Birdan birga
Birdan ko'pga
Birga ko'p
Ko'pdan ko'pga
Birdan birga RNN
Ushbu turdagi neyron tarmoq Vanilla neyron tarmog'i sifatida tanilgan. U bitta kirish va bitta chiqishga ega bo'lgan umumiy mashinani o'rganish muammolari uchun ishlatiladi.