Axborot texnologiyalari, mexanika va optika ilmiy-texnik jurnali. Axborot texnologiyalari, mexanika va optika ilmiy-texnik bulleteni

Chuqur neyron tarmoqlari
9 ta ketma-ket bo'r spektri vektorlari va chiqish va kirish qatlamlari o'rtasidagi takroriy aloqa, bu kontekstual bog'liqlikni hisobga
olishga imkon berdi. E'tibor bering, uzoq muddatli belgilar juda ko'p
- neyron tarmoqlar etarli ma'lumot kuchiga ega emas edi, chunki kompyuterlarning kuchi bir necha qatlamli tarmoqlardan va
trifonlarga mos keladigan bir necha ming neyronlardan iborat chiqish qatlamidan foydalanishga imkon bermadi (ilk davrdagi
kabi bir necha o'nlab monofonlar emas).
Axborot texnologiyalari, mexanika va optika ilmiy-texnik byulleteni, 2015 yil, 15-jild, ÿ6
yangi ma'ruzachi. Bayesian moslashuvidan yoki posterior ehtimollikni maksimal darajada oshirishdan foydalaning
Ko'pgina tadqiqotchilar muammoning tabiati sun'iy neyron tarmoqlarining imkoniyatlariga mos keladi deb o'ylashdi.
Neyron tarmoqlardan foydalanishga urinishlar ancha oldin boshlangan. Misol tariqasida 1990 yildagi [41] maqolasini keltirish
mumkin, unda ko'p istiqbolli
usullarni "biologiya" nuqtai nazaridan baholash, biz usulning mutlaq sun'iyligini ta'kidlaymiz. U CO
Garchi bu argumentni muhokama qilish qiyin bo'lsa-da, so'nggi paytlarda ishlatilgan ish
holatlarning ehtimollik zichligi funksiyalarining Gauss yaqinlashuvi bilan Markov modeli yoki
butun dunyo bo'ylab o'nlab ilmiy markazlar va bir necha yillar davomida nihoyatda optimallashtirilgan, shuning uchun
bitta yashirin qatlamli tarmoqlar uchun og'irliklarni ishga tushirish uchun oqilona texnikani yaratish qiyinligi
ehtimol va ba'zilari kamroq. Afsuski, rus tili uchun barcha ko'plab til modellari beradi
Xususiyatlar makonidagi traektoriyalarning parchalarini "biologik jihatdan" tasvirlaydi. Bunga qaramay
tizimlari).
Neyron tarmoq yoki har qanday miqdordagi yashirin qatlamlarga ega perseptron ko'p qirrali
jumla jumlaning sintaktik va semantik tuzilishini hisobga olgan holda murakkab bo'lishi mumkin yoki har qanday so'zning paydo
bo'lishi bir xil ehtimoli bor deb faraz qilgan holda juda sodda bo'lishi mumkin (bu holda biz, aslida, lingvistik tahlilni rad etamiz
va hisobga olamiz. naqsh va xususiyatlarni hisobga oling
(XX asrning 60-yillari o'rtalari), taxminan 40 yil davomida tan olish sifatining rivojlanishi
nutqni aniqlash tizimlarini yaratishda uzoq muddatli taraqqiyotning yo'qligi. Mualliflar kamchilikni tushuntirdilar
xususiyat maydonidagi har qanday sirtni taxminan. Biroq, nutqni aniqlashda muvaffaqiyat
[34] va maksimal ehtimollikning chiziqli regressiyasi [35-37]. Spikerlar va
yuzlarni tanib olish sohasidan o'zlarining yovvoyi tabiatidan foydalangan holda moslashish usuli paydo bo'ldi
har qanday zarurat bilan u ma'lum bir chegaraga qarshi dam olishga majbur bo'ldi, aslida u shunday qildi.
g'oyalar. Xususan, uzoq muddatli xususiyatlardan iborat yagona supervektor shaklida ishlatilgan
Bu fokuslarning barchasi tanib olish sifatini etarlicha yuqori darajaga ko'tarishga imkon berdi, shuning uchun o'z-o'ziga
ovozli xizmat ko'rsatish tizimlarida tanib olish tizimlaridan foydalanish mumkin bo'ldi.
Nutqni aniqlash texnologiyalari juda yosh, ammo juda istiqbolli
963
Machine Translated by Google

---

sinov namunasi
Senones 4 til Senones 5 til
Senonlar - trifonlarning bog'langan holatlari
yashirin qatlamlar
Umumiy transformatsiya mexanizmi
Lang 1 Lang 2 Lang 3 Lang 4 Lang 5
Senones 1 til
Senones 2 til
ma'lumotlar asosida o'qitiladi
birinchi to'rt til
Til mustaqil
Senones 3 til
kirish qatlami
Barcha tillar uchun umumiy
964
belgilar. Dastlabki vektor bir nechta ketma-ket MFCC yoki Mel spektral xususiyat vektorlarini o'z ichiga olishi mumkin.
Identifikatsiya o'zgarishiga yo'l qo'ymaslik uchun kirish vektori
NUQQNI AVTOMAT TANISH...
Agar neyron tarmoqlarning ichki qatlamlari nutq signalining xarakterli xususiyatlarini ajratib ko'rsatsa
nya.
qatlamlari [44, 45]. Kirish vektori birinchi yashirin qatlam uchun maqsad funksiyasi sifatida qaraladi
Kelajak.
Usullardan biri pastdan boshlab qatlam-qatlam o'rganish bilan ishga tushirishdir
murakkab va selektiv. Neyron tarmoqning alohida qatlamlarini dastlabki tayyorlash xuddi shu vazifani bajaradi -
alohida qatlamlar har doim yuqori darajadagi signal belgilarini topishga o'rgatiladi.
oldingi qatlamning signallari. Hammasi bo'lib, 5-7 qatlamgacha shu tarzda o'qitiladi. Boshlashdan keyin
bitta neyron tarmoq qatlami treningdan ko'ra ancha kichikroq nutq ma'lumotlar bazasini talab qiladi
Tajribalar bu imkoniyatni to'liq tasdiqladi. Umumiy nutqdan foydalanish
umumiy nutq, keyin har bir yangi til uchun neyron tarmoqning faqat chiqish qatlamini o'rgatish orqali ularni barcha
tillar uchun birlashtirish mumkin (2-rasm). Bu juda muhim, chunki faqat o'rganish uchun
shovqin qilish. Neyron tarmog'ining keyingi qatlami xuddi shu tarzda chiqishni takrorlash uchun o'qitiladi
frantsuz, nemis va italyan tillari uchun ma'lumotlar bazalari tanib olish xatosini monolingual modellarga nisbatan
nisbiy jihatdan 3,3-5,4% ga kamaytirishga imkon berdi [45].
Nutq signali aloqador bo'lmagan tillarda nutqni aniqlash uchun ishlatilishi mumkin. Ma'lumotlar bazasida o'qitilgan
neyron tarmoqning ichki qatlamlaridan foydalanish uchun tajribalar o'rnatildi
kirish signalining tegishli trifonga tegishliligini aks ettiruvchi maqsadli funksiyaga ega tarmoqlar. Ushbu yondashuv
Gauss aralashmalari bilan klassik yondashuvdan aniq ustunlikni ko'rsatdi: tanib olish natijalari har doim yaxshi bo'ldi
va ko'p qatlamli tarmoq
Shuni ta'kidlash kerakki, neyron tarmoqlarning ichki qatlamlarida mavjud bo'lgan xususiyatlar haqida ma'lumot
birinchi qatlamlar amalga oshiriladi, butun uchun standart xato backpropagation algoritmini o'z ichiga oladi
hammasi 5-7 qatlam.
Axborot texnologiyalari, mexanika va optika ilmiy-texnik byulleteni, 2015 yil, 15-jild, ÿ6
Ko'p qatlamli neyron tarmoqlardan foydalanish yangi vazifani qo'ydi - yangi o'rganish algoritmlarini ishlab
chiqish, bu neyron tarmoqlardan foydalanish bilan bog'liq ish tendentsiyasi bo'lishi mumkin.
eshitish funktsiyasi. Eshitish tizimida akustik signaldagi ma'lum hodisalarga javob beradigan neyronlar topilgan [8,
Ch. to'qqiz]. Signal eshitish tizimining markaziy qismlariga "chuqurlashgani" sababli, maxsus neyronlar chiqaradigan
belgilarning tabiati tobora kuchayib boradi.
Xitoy tili uchun neyron tarmog'ining chiqish qatlamini qo'shimcha o'qitish uchun Evropa tillari. Qarindosh
309 soatlik nutqdagi nutq materiali 2000 soatlik nutqda o'qitilgan Gauss aralashmasi usuliga qaraganda yaxshiroq
natijalarni ko'rsatdi. Shuni ta'kidlash kerakki, tavsiya etilgan o'rganish algoritmi o'xshash tizimni yaratadi
Guruch. 2. To'rt tilda o'qitiladigan tizimni beshinchi tilga o'rgatish [45]
Machine Translated by Google

---

bir so‘zlovchining nutqini polifoniyadan ajrata oladi va spontan nutqni taniy oladi. Bu vazifalarning barchasi va
Nutqni aniqlash tizimlarining rivojlanishi, bizning fikrimizcha, neyron tarmoqlarning tuzilishini takomillashtirish, turli
darajadagi teskari aloqaning majburiy mavjudligi va bunday neyron tarmoqlarni o'qitishning yangi usullarini ishlab chiqish bilan
bog'liq bo'ladi. Neyron tarmoqlarning tuzilishi moslashuv va tuzatishlar uchun qaytarish mexanizmlariga ega bo'lishi kerak.
Eshitish tizimining ba'zi elementlari neyron tarmoqlar arxitekturasida paydo bo'lsa va o'rganish usullari nimanidir qarzga olsa,
ajablanarli bo'lmaydi.
I.B. Tampel
bunda neyronlar o'zaro bog'langan, "perseptronlar" dan farqli o'laroq, ularda ulanish faqat mumkin.
Ko'pgina mutaxassislar takroriy neyron tarmoqlar yordamida fonemalarni aniqlash mumkin deb hisoblashadi. Takroriy
neyron tarmoqlari yo'naltirilgan holda bog'langan neyronlarni o'z ichiga oladi
Ko'rinib turibdiki, ko'p qatlamli neyron tarmoqlarni qatlam-qatlam o'rganish bilan rivojlantirish biologik signallarni qayta
ishlash mexanizmlari yo'lidagi eng katta qadamdir. Aslida, faqat bitta o'ta sun'iy element qoladi - bu hali ham Markov modellari
doirasidagi bir xil dinamik dasturlash algoritmi, ammo Viterbi nomi bilan biz taqdimotni boshladik, chunki neyron tarmoqlar
tomonidan olingan trifonlarning posterior ehtimoli hali ham mavjud. "cho'zish
300 ms uzunlikdagi signal segmentini ko'rsatish (kontekstga bog'liqlikning bunday o'lchamlari
aytilganlarni tushunishga qodir tizimlar, buning natijasida odam qiyinchiliklarga duch kelmaydi
Axborot texnologiyalari, mexanika va optika ilmiy-texnik byulleteni, 2015 yil, 15-jild, ÿ6
xususiyat vektori, chiqishda olingan trifonlarning posterior ehtimolliklari to'plami ishlatiladi
o'sha paytda hukmron bo'lgan usullardan ustunlikka ega bo'lish.
So'nggi 3-4 yil ichida, o'ttiz yildan ortiq turg'unlik fonida, tanib olish tizimlarining imkoniyatlari hali ham saqlanib qolmoqda.
Nihoyat, semantika sohasidagi ishlanmalarni qo'llash kerak, bu esa aniqroq va aniqroq bo'lishga imkon beradi
tillar, shu jumladan kam resursli tillar.
umid qilamanki, bunday tarmoqlar fonema yoki boshqa akustik ob'ektning mavjudligi to'g'risida qaror qabul qila oladi, kiruvchi
ma'lumotlarni to'playdi, bu dinamik dasturlash usulidan va Markov modellarining rasmiyatchiligidan voz kechishga imkon beradi.
Takroriy neyron tarmoqlardan foydalanish g'oyasi boshlandi
Xulosa
bolani o'rgatishdan, masalan, eng oddiy tovushlarning birinchi bosqichida taqdimot - modulyatsiyalangan
Xitoy tili ma'lumotlar bazasini 3 soatdan 139 soatgacha oshirishda daromad 21,1% dan 8,3% gacha bo'lgan.
turli qatlamlarning neyronlari o'rtasida. Ushbu maqolada ko'rib chiqilayotgan fragmentga nisbatan oldingi va keyingi kontekstni
hisobga olish imkonini beruvchi ikki tomonlama neyron tarmoqlari o'rganiladi. Har birida suv ombori qatlami mavjud bo'lgan
qatlamlar soni uchta edi. Boshlang'ich ta'lim
dumaloq jarayon. Bu neyron tarmoqqa xotira va shuning uchun tanib olish qobiliyatini beradi
ayniqsa oxirgi ikkitasi zamonaviy tanib olish tizimlari uchun katta qiyinchiliklar tug'diradi. Nutqni aniqlashning avtomatlashtirilgan
tizimlari shu paytgacha odamlardan faqat tushunish va til modeli rol o'ynamaydigan vazifalarda, masalan, ajratilgan buyruqlar
yoki raqamlarni tanib olishda ortda qoldi.
[49]), 30 ga yaqin xususiyat vektori talab qilinadi, shuning uchun hosil boÿlgan supervektorning oÿlchami 300 dan 1000 gacha
boÿlishi mumkin. Bunday oÿlchamdagi vektorlar bilan ishlash noqulay. Ko'rinishidan, signal haqida ma'lumotni oqish bilan
takrorlanuvchi filtr-integrator sifatida saqlaydigan takroriy ulanishlar bilan neyron tarmoqni yaratish samaraliroq. Aynan shunday
integratsiyalashgan neyronlarning oqishi asosida rezervuar neyron tarmoqlari quriladi [50]. Ushbu tarmoqlar qatlamlarni o'z
ichiga oladi
uzoqdan, aks-sadoli, urg'uli nutqni, yomon aloqa kanallarida nutqni tan olish, shuningdek
sya" u bilan modelda.
Nutqni avtomatik tanib olishda erishilgan juda muhim yutuqlarga qaramay
unlilar va undosh-unli birikmalari (garchi biz bu bashoratni talab qilmasak ham).
neyron tarmoq. Neyron tarmoqlardan foydalanishning bu usuli monofonlar uchun birinchilardan boÿlib H.Germanskiy va
boshqalar tomonidan taklif qilingan [46].
Takroriy tarmoqlarning yana bir afzalligi kichikroq o'lchamdagi vektorlar bilan ishlash bo'lishi mumkin. Kontekstga
bog'liqlik, ya'ni. ko'rib chiqilayotgan ko'p qatlamli tarmoqlarda fonemalarning bir-biriga ta'siri taxminan 25 ms uzunlikdagi signal
segmentini tavsiflovchi bir nechta ketma-ket xususiyat vektorlaridan kirish vektorini qurish orqali modellashtirilgan. Tahlil oynalari
10 ms ga siljiydi. Uchun
odamlarga nisbatan juda cheklangan. Asosan, eshitish tizimining afzalliklari moslashishning o'ta kuchli imkoniyatlari va eng
muhimi, eshitish tizimining "terminal qurilmasi" bilan belgilanadi.
xabar mavzusini moslashuvchan tarzda aniqlang va noto'g'ri farazlardan voz keching.
[45]. Ko'rib chiqilgan texnika barcha turdagi tanib olish tizimlarini yaratish imkoniyatini ochib beradi
jarayonlar, va yuqorida muhokama qilingan chuqur neyron tarmoqlari kabi faqat statik ob'ektlar emas. mumkin
qatlamlarda ham amalga oshiriladi. Natijalar usulning va'dasini ko'rsatdi.
ancha uzoq vaqt davomida o'rganilgan [47, 48], ammo kompyuterlarning etarli quvvati yo'q edi.
Neyron tarmoqlar dinamik ob'ektlarni aniqlay olmaganligi sababli, Markov modellarining formalizmi hali ham modellarni
signal bilan solishtirish uchun ishlatiladi, ammo hozir
965
Machine Translated by Google

---

1671. doi: 10.1109/29.46548
Akustika bo'yicha Kongress. Los Alamitos, 1968, 17-20-betlar.
NUQQNI AVTOMAT TANISH...
2015 yil 22 oktyabr).
10. No 12. 30–32, 34, 36-betlar.
V. 1. B. 381–384.
1993. B. 1547–1550.
3. Zafar A., Overhage JM, McDonald CJ Klinisyenlar uchun doimiy nutqni aniqlash // Amer jurnali
9. Huang X., Acero A., Hon H.-V. Og'zaki tilni qayta ishlash. Prentice Hall, 2001. 1008 p.
4. B. 340–341.
556. doi: 10.1109/PROC.1976.10159
2. Terri K. Instant bemor yozuvlari va siz faqat gaplashish kerak // Tibbiyot Iqtisodiyot. 1999. V. 76. N 19. P.
ican Tibbiyot informatika assotsiatsiyasi.1999. V. 6. No 3. B. 195–204.
15. Sakoe H., Chiba S. Og'zaki so'zni aniqlash uchun dinamik dasturlash algoritmini optimallashtirish // Akustika, nutq va signalni
qayta ishlash bo'yicha IEEE operatsiyalari. 1978. V. 64. B. 43–49. doi: 10.1109/TASSP.1978.1163055
to'xtatish. 1975. V. ASSP 23. No 1. P. 24–29.
Axborot texnologiyalari, mexanika va optika ilmiy-texnik byulleteni, 2015 yil, 15-jild, ÿ6