9-bob. Tabiiy tilni tushunish va mashinali koʻrish tizimlari

Strukturali - dogʻli etalonni qoʻllash orqali anglash quyidagicha sodir boʻladi. Etalon tasvir ustiga qoʻyiladi va tasvirda ajratilgan dogʻlar orasidagi munosabatlar etalondagi dogʻlarning munosabatlari bilan taqqoslanadi. Agar tasvirda ajratilgan dogʻlar va ular orasidagi munosabatlar qandaydar belgining etalonini qanoatlantirsa, u holda bu belgi kiruvchi tasvirni anglash haqidagi gipotezalar roʻyxatiga qoʻshiladi.

4. Cognitive Technologies dan mashinali oʻqish darslari

Tizim tamoyili asosida ishlaydi. Bu shuni anglatadiki, <(Skanerla va tani) Сканируй и Распознавай> tugmasini bosganda hujjatni qayta ishlash jarayoni ishga tushadi: skanerlash, sahifani matnli va grafik bloklarga ajratish, matnni anglash, orfografiyani tekshirish va chiquvchi faylni shakllantirishdan iborat. Buning barchasida nima turadi? Ongli algoritm hujjatning foniga bogʻliq ravishda skanerning optimal yorugʻligini avtomatik tanlashga(adaptiv skanerlash), illyustrasiyalarni saqlashga(yoki yechiladigan masalaga bogʻliq ravishda keraksiz grafik elementlarini oʻchirish) imkon beradi.

Cunie Form da bunga oʻxshash mosliklarning bir qancha usullari ishlatiladi. Birinchidan, har bir belgining shakli alohida elementar hodisalarga yoyiladi. Masalan kesishishning bir chizigʻidan boshqasigacha boʻlgan qism hodisa hisoblanadi. Hodisalar majmui belgining ixcham tavsifini oʻzida ifodalaydi.

Boshqa usullar alohida belgilar elementlari larining oʻzaro nisbatlariga va ularning xarakterli alomatlarini tavsiflashga asoslanadi. Bu tavsiflarning har biriga mos etalonlar topiladigan ma’lumotlar bazasi mavjud. Tasvirning qayta ishlashga beriladigan elementi etalon bilan taqqoslanadi. Shundan soʻng bu taqqoslashga asoslanib hal qiluvchi funksiya tasvirning aniq belgiga mosligi haqida hukm chiqaradi. Bundan tashqari past sifatli matnlar bilan ishlashga imkon beradigan algoritmlar ham mavjud. Masalan «yopishib qolgan» belgilarni ajratish uchun optimal ajratishni baholash usuli mavjud. Aksincha, «sochilgan» elementlarni birlashtirish uchun ularni birlashtirish mexanizmlari ishlab chiqilgan.

Cunie Form 96 da birinchi marta oʻzini-oʻz oʻqitish(yoki adaptiv anglash) algoritmi qoʻllangan. Ularning ishlash prinsipi quyidagidan iborat. Har bir matnda aniq va noaniq bosilgan belgilar mavjud boʻladi. Agar tizim matnni tanigandan keyin aniqlik chegaradan pastda ekanligi aniqlansa, yaxshi bosilgan belgilarning tizim generasiya qilgan shriftiga asoslangan holda matnni qayta anglash amalga oshiriladi. Bu yerda ishlab chiqaruvchilar ikki turdagi anglash tizimining afzalliklarini birlashtirishgan: birinchisi ixtiyoriy shriftni qoʻshimcha oʻqitmasdan anglash imkonini beradi, ikkinchisi past sifatli matnlarni anglashda chidamli hisoblanadi. Cunei Form 96 ni qoʻllash natijalari shuni koʻrsatdiki, oʻzini - oʻzi oʻqitadigan algoritmlarning qoʻllanilishi past sifatli matnlarni anglash aniqligini 4-5 marta oshirishga imkon beradi. Asosiysi oʻzini - oʻzi oʻqitadigan tizimlar anglash aniqligini oshirishda katta potensialga ega.

Sintaktik va lugʻatli anglash usullari muhim rol oʻynaydi va mohiyatiga koʻra geometrik anglashni taminlashda kuchli vosita boʻlib xizmat qiladi. Lekin ularni samarali qoʻllash uchun ikkita muhim masalani yechish kerak boʻladi. Birinchidan katta lugʻatga(100000 soʻz) tez murojatni amalga oshirish. Natijada soʻzlarni saqlash tizimini qurishga erishildi va bunda har bir soʻzni saqlash uchun bir baytdan oshmaydi, murojat esa minimal vaqtda amalga oshirildi. Boshqa tomondan hodisalarning alternativligiga yoʻnaltirilgan anglash natijalarini toʻgʻirlaydigan tizimni qurishga talab qilindi. Lugʻatli nazorat esa lugʻat bazasini qoʻllab, bu baholarni oʻzgartirishga imkon berdi. Natijada lugʻatni qoʻllash belgilarni qayta anglash sxemasini amalga oshirishga imkon berdi [11-15].

Hozirgi kunda anglash aniqligini oshirish masalalari bilan birga anglash texnologiyalari bilan arxivli tizimlarni birlashtirish orqali OCR-texnologilarni qoʻllanilish sohalarini kengaytirish masalalari oldingi oʻringa chiqmoqda. Boshqacha aytganda, hozir matnni kiritishni amalga oshiradigan monodasturdan mijozning hujjatni qayta ishlash sohasidagi masalasini yechadigan avtomatlashtirilgan kompleksga oʻtilyapti. Mana yarim yildirki Cunei Form 96 tashkilotlarda ma’lumotlarni birgalikda kiritishga moʻljallangan Cunei Form OCR Server anglash serveri bilan chiqarilmoqda, anglash modulini oʻz ichiga olgan elektron arxivi esa qisqa vaqt ichida katta shuhrat qozondi.

Shunday moʻljal bilan umuman anglash tizimlari haqidagi tasavvurlarni tubdan oʻzgartirgan Cunei Form96 Professional komplekti yaratildi.

4. Qoʻlyozma matnlarni anglash

Qoʻlyozma matnlarni anglash masalasi bosma matnlarni anglashga qaraganda ancha qiyin. Bosma matnlarni anglashda biz shrift tasvirlarining chegaralangan miqdori bilan ishlasak, qoʻlyozma matnlarda esa shablonlar soni oʻlchab boʻlmas darajada koʻp. Tasvir elemetlari chiziqli oʻlchamlarining boshqa munosabatlari qoʻshimcha qiyinchiliklarni keltirib chiqaradi.

Lekin baribir qoʻlyozma matnlarni anglash texnologiyasini ishlab chiqarishning asosiy bosqichlaridan oʻtilganligini tan olishimiz mumkin. Cognitive Technologies zaxirasida barcha asosiy turdagi matnlar: stilizasiyalangan raqamlar, bosma matnlar va qoʻlyozma belgilarni anglash texnologiyalari mavjud. Ammo qoʻlyozma matnlarni kiritish texnologiyalarini moslashish(adaptasiya) bosqichidan oʻtishi talab qilinadi. Shundan soʻng hujjatlarni uzluksiz arxivga kiritish uchun vositalar toʻliq amalga oshirilganligini e’lon qilish mumkin boʻladi [11-15].

Yangi kompyuter texnologiyalarning dinamik rivojlanishi elektron hujjat ayirboshlash sektorining holatiga ham oʻz aksini topdi. Oldinlari klaviaturasiz kiritish texnologiyalarini rivojlntirish shaxsiy foydalanishning afzalliklariga qaratilgan boʻlsa, hozirgi kunda hujjatlarni kiritish va qayta ishlash texnologiyalaridan birgalikda va ratsional foydalanish afzalliklari oldingi oʻringa chiqmoqda. Hozirgi kunda birgina anglash tizimiga ega boʻlish yetarli emas. Anglangan matnli fayllar bilan nimadir qilish kerak: ma’lumotlar bazasiga saqlash, ularni qidirash, lokal tarmoq orqali uzatish va h.k. Bir soʻz bilan aytganda hujjat bilan ishlashning arxivli yoki boshqa tizimi bilan birgalikda ishlash talab qilinadi. Shunga koʻra anglash tizimi hujjatlar bilan ishlashning arxivli yoki boshqa tizimi uchun utilitga aylanadi.

Hujjatlarni skanerlash va anglash tizimlari tarmoq versiyalarining paydo boʻlishi bilan kompaniyalarda, turli xil tashkilotlarda bu texnologiyalardan birgalikda foydalanishning ba’zi bir afzalliklarini amalga oshirishga erishildi. Shu sababli, turli xil darajadagi tashkilotlarda hujjatlar bilan ishlashni avtomatlashtirish masalalarini kompaniyalar bilan birga kompleks yechish haqida gapirish muhim hisoblanadi. Cognitive Technologies ga kelsak, u tomonidan taqdim etilgan elektron arxivi, yangi utilitlar va katta loyihalarni amalga oshirishda qoʻllaniladigan texnologiyalar ma’lumotlarni kiritish tizimlarini qoʻllashni kengaytirishga va hujjatlar bilan ishlashni avtomatlashtirish texnologiyalarini ishlab chiqarishga yoʻnaltirilgan kompaniya yoʻnalishini davom ettirmoqda.