Mahsuliy produksiya ekspert tizimlari taraqqiyoti va tatbiqlari

Rekurrent to’rlar. Xemming neyron to’ri
Takroriy(Rekurrent) neyron tarmoqlar (takrorlanadigan neyron tarmoqlar, RNN) - bu FFNN tipidagi tarmoqlar, ammo o'ziga xos xususiyati: neyronlar nafaqat oldingi qatlamdan, balki o'zlaridan ham oldingi pasdan ma'lumot olishadi. Bu shuni anglatadiki, siz ma'lumotni oziqlantirish va tarmoqni o'rgatish tartibi muhim ahamiyat kasb etadi. RNNlarda katta muammo bu yo'qolib borayotgan (yoki portlovchi) gradient muammosi, bu vaqt o'tishi bilan ma'lumotlarning tez yo'qolishi. Albatta, bu faqat og'irliklarga ta'sir qiladi, neyronlarning holatiga emas, balki ularda ma'lumot to'planadi. Odatda, ushbu turdagi tarmoqlar ma'lumotni avtomatik ravishda to'ldirish uchun ishlatiladi.
Takroriy neyron tarmoqlar - bu geribildirim mavjud bo'lgan neyron tarmoqlarning eng murakkab turi. Bunday holda, teskari aloqa mantiqan uzoqroq elementdan unchalik uzoq bo'lmagan elementga ulanishni anglatadi. Fikrlarning mavjudligi bir stimulga reaktsiyalarning butun ketma-ketligini yodlash va ko'paytirishga imkon beradi. Bunday tarmoqlarda dasturlash nuqtai nazaridan tsiklik bajarilish analogi paydo bo'ladi va tizimlar nuqtai nazaridan bunday tarmoq holat mashinasiga tengdir. Bunday xususiyatlar biologik neyron tarmoqlarini modellashtirish uchun ko'plab imkoniyatlarni taqdim etadi. Ammo, afsuski, turli xil me'morchiliklarni qurish imkoniyati va ularni tahlil qilishning murakkabligi tufayli hozirgi kunda ko'pgina imkoniyatlar yomon o'rganilgan.
Takroriy neyron tarmoqlar (RNN) nima va ular oddiy tarmoqlardan nimasi bilan farq qiladi?
Avval "oddiy" neyron tarmoqlar nima ekanligini eslaylik, shundan keyin ularning takrorlanuvchi tarmoqlardan qanday farq qilishi darhol aniq bo'ladi. Keling, eng oddiy asab tarmog'i - perseptronni tasavvur qilaylik. U bitta neyron qatlamini ifodalaydi, ularning har biri kirish ma'lumotlarining bir qismini (bir yoki bir nechta bit, haqiqiy sonlar, piksellar va boshqalarni) qabul qiladi, o'z vaznini hisobga olgan holda o'zgartiradi va uzatadi. Bir qavatli pertseptronda barcha neyronlarning chiqishi u yoki bu tarzda birlashtiriladi va asab tarmog'i javob beradi, ammo bunday me'morchilik imkoniyatlari juda cheklangan. Agar siz yanada rivojlangan funksiyalarni olishni istasangiz, siz bir necha usullar bilan borishingiz mumkin, masalan, qatlamlar sonini ko'paytirishingiz va keladigan ma'lumotlarni turli o'lchamdagi qismlarga "tabaqalashtiradigan" konvolyatsiya operatsiyasini qo'shishingiz mumkin. Bunday holda sizda tasvirni qayta ishlash va mushukni tanib olishda ustun bo'lgan chuqur o'rganiladigan konvolyatsion neyron tarmoqlar mavjud. Biroq, ibtidoiy perceptron ham, konvolyutsion asab tarmog'i ham umumiy cheklovga ega: kirish va chiqish ma'lumotlari ham qat'iy, oldindan belgilangan hajmga ega, masalan, 100 × 100 pikselli rasm yoki 256 bitli ketma-ketlik. Matematik nuqtai nazardan, asab tarmog'i juda murakkab bo'lsa-da, odatdagi funktsiya kabi harakat qiladi: u oldindan belgilangan miqdordagi argumentlarga ega, shuningdek, u javob beradigan belgilangan formatga ega. Oddiy misol x₂ funktsiyasi bo'lib, u bitta argumentni qabul qiladi va bitta qiymatni qaytaradi.
Agar biz bir xil rasmlar haqida yoki oldindan gaplashsak, yuqoridagi xususiyatlar juda qiyin emas ma'lum ketma-ketliklar belgilar. Agar matn yoki musiqani qayta ishlash uchun neyron tarmoqdan foydalanmoqchi bo'lsangiz nima bo'ladi? Umumiy holda, nafaqat mazmuni, balki ma'lumotlarning ketma-ketligi ham muhim bo'lgan har qanday shartli cheksiz ketma-ketlik. Aynan shu vazifalar uchun takrorlanadigan neyron tarmoqlari ixtiro qilindi. Biz ularni "oddiy" deb atagan qarama-qarshi tomonlar yanada qattiqroq nomga ega - oldinga yo'naltirilgan neyron tarmoqlari, chunki ularda ma'lumotlar faqat tarmoq bo'ylab, qatlamdan qatlamga uzatiladi. Qayta tiklanadigan asab tarmoqlarida neyronlar bir-biri bilan ma'lumot almashadilar: masalan, yangi keladigan ma'lumotlardan tashqari, neyron ham tarmoqning oldingi holati to'g'risida ba'zi ma'lumotlarni oladi. Shunday qilib, tarmoq o'z ishining mohiyatini tubdan o'zgartiradigan va qiymatlar qanday tartibda - ovozli yozuvlardan tortib to fond kotirovkalariga qadar bo'lgan har qanday ma'lumotlarni ketma-ketligini tahlil qilishga imkon beradigan "xotira" ni amalga oshiradi. Bir qavatli takrorlanuvchi neyronlar tarmog'ining sxemasi: har bir ishlash davrida neyronlarning ichki qatlami X kirish ma'lumotlari to'plamini va ichki A qatlamining oldingi holati to'g'risida ma'lumot oladi, shu asosda u h javobini hosil qiladi. Qayta takrorlanadigan neyron tarmoqlarida xotira mavjudligi o'xshashlikni x₂ bilan bir oz kengaytirishga imkon beradi. Agar biz oldinga yo'naltirilgan neyron tarmoqlarni "oddiy" funktsiya deb atasak, unda vijdon bilan takrorlanadigan neyron tarmoqlarni dastur deb atash mumkin. Darhaqiqat, takrorlanadigan neyron tarmoqlarining xotirasi (to'liq bo'lmasa ham, ammo keyinroq bu haqda) ularni Turingni to'liq qiladi: agar og'irliklar to'g'ri o'rnatilgan bo'lsa, neyron tarmoq ishni muvaffaqiyatli taqlid qilishi mumkin.
Ehtimol, birinchi RNN - bu Hopfild tarmog'i (birinchi bo'lib 1974 yilda eslatib o'tilgan, nihoyat 1982 yilda shakllangan), bu assotsiativ xotira hujayrasini amalga oshirdi. Zamonaviy RNNlardan farqi shundaki, u belgilangan o'lchamdagi ketma-ketliklar bilan ishlaydi. Oddiy holatda, Hopfield tarmog'i bir-biriga bog'langan ichki neyronlarning bir qatlamiga ega va har bir ulanish uning ahamiyatini belgilaydigan ma'lum og'irlik bilan tavsiflanadi. Bunday tarmoq bilan bog'liq bo'lgan tizimdagi barcha og'irliklarga bog'liq bo'lgan jismoniy "energiya" ning ma'lum bir ekvivalenti. Minimal tarmoq ma'lum bir naqshni "eslab qolgan" holatiga mos keladigan bo'lsa, tarmoqni energiyadagi gradiyent tushish yordamida o'rgatish mumkin, masalan. 10101 ... Endi unga buzuq, shovqinli yoki to'liq bo'lmagan shablon berilsa, aytaylik: 10000 , u "eslab qoladi" va uni odamlarda assotsiativ xotira qanday ishlasa, xuddi shunday tiklaydi. Bu o'xshashlik yaqin emas, shuning uchun uni jiddiy qabul qilmaslik kerak. Shunga qaramay, Xopfildning tarmoqlari o'z vazifalarini muvaffaqiyatli uddalashdi va o'sha paytda mavjud bo'lgan perkeptronlarni chetlab o'tishdi. Qizig'i shundaki, Jon Xopfildning asl nashri Milliy fanlar akademiyasi materiallari "Biofizika" bo'limida nashr etilgan.
Hozirgi vaqtda Google mashinalarni tarjima qilish uchun LSTM tipidagi RNN-lardan foydalanmoqda, bu esa mavjud analoglar bilan taqqoslaganda eng yuqori aniqlikka erishishga imkon berdi, ammo mualliflarning fikriga ko'ra, kompyuter tarjimasi hali ham inson darajasidan juda uzoqdir. Tarjima vazifalarida neyron tarmoqlari duch keladigan qiyinchiliklar birdaniga bir nechta omillarga bog'liq: birinchidan, har qanday vazifada sifat va tezlik o'rtasida muqarrar kelishuv mavjud. Ayni paytda, odam juda oldinda sun'iy intellekt ushbu ko'rsatkich uchun.
Mashinaviy tarjima ko'pincha onlayn xizmatlarda qo'llanilganligi sababli, ishlab chiquvchilar tezlik uchun aniqlikdan voz kechishga majbur. Masalan, kamdan-kam uchraydigan so'zlar yoki jargonlar yoki so'zni ataylab buzib ko'rsatish (masalan, yorqinroq sarlavha uchun), hatto boshqa tilda eng etarlicha analogni topish uchun vaqt sarflashi kerak bo'lgan odam tarjimonini ham chalkashtirib yuborishi mumkin. Biroq, mashina bu vaziyatdan chalkashib qoladi va tarjimon murakkab so'zni "tashlab", tarjimasiz qoldirishga majbur bo'ladi. Natijada, arxitektura tufayli mashinani tarjima qilish muammolari juda ko'p emas (RNNlar muvaffaqiyatli kurashmoqda muntazam vazifalar tilning murakkabligi va xilma-xilligi kabi). Yaxshi yangilik shundaki, bu muammo mazmunli matnlarni yozishdan ko'ra ko'proq texnik xususiyatga ega, bu ehtimol tubdan yangi yondashuvni talab qiladi.

Google Translate mashinasi tarjimoni bir nechta takrorlanadigan neyron tarmoqlari kombinatsiyasi asosida qanday ishlaydi.