Kompyuter lingvistikasi

O‘zbek kompyuter lingvistikasiga doir tadqiqotlar tavsifi

Umumiy nazariy tilshunoslik asoschisi hisoblangan tilshunos olim

Vilgelm Fon Gumbolt til va xalq birligini shunday ta’riflagan edi: “Xalq tilida uning ongi bor, xalq ongida esa uning tili. Ularning o‘zaro bog‘liqligini bundan ortiq ko‘rsatib bo‘lmaydi”. Ana shunday murakkab hodisa bo‘lgan aloqa qurolini – tilni murakkab sistema sifatida tadqiq va tahlil qiluvchi tilshunosik fanida XXI asrga kelib yangidan yangi yo‘nalishlar, sohalar paydo bo‘la boshladi. Paralingvistika, psixolingvistika, sotsiolingvistika, etnolingvistika, kognitiv lingvistika, neyrolingvistika, kompyuter lingvistikasi kabilar yo‘nalishlar vujudga keldiki, tilshunoslikning tadqiqot obyektlari yangicha mazmun kasb eta boshladi va amaliyot bilan bevosita bog‘liqlik kasb etdi.Kompyuter lingvistikasi yangi fan tarog‘i sifatida 1950-yillarda Amerika Qo‘shma Shtatlarida paydo bo‘ldi. Tranzistorning ixtiro qilinishi, kompyuter yangi avlodlarining paydo bo‘lishi, tillarning ilk marotaba dasturlanishi mashina tarjimasi bilan bog‘liq tajribalarni boshlab berdi. Kompyuter lingvistikasiga oid ilk tadqiqotlar, keyinchalik uning muhim tarmog‘iga aylangan mashina tarjimasi bo‘yicha olib borilgan.1960-yillarda ana shunday tekshirish Rossiyda o‘tkazilgan (masalan, 1964-yil “Kibernetika muammolari” to‘plamiga rus tilidan arman tiliga tarjima haqidagi maqola bor).

Kompyuter lingvistikasi hozirgi vaqtda nazariy va amaliy fan sifatida to‘la shakllanib bormoqda. Uning nazariy fan ekanligi nutqiy jarayonni, matnni o‘rganishning turli xil model (gipoteza)larini yaratishning nazariy asoslarini ishlab chiqishida ko‘rinadi. Uning amaliy xususiyati esa tarjima mashinalarini yaratish va uning ishlash jarayonini tashkil etishi bilan belgilanadi. Buning uchun kompyuter lingvistikasi fani quyidagi uch usul va metodlardan keng foydalanadi:

a) mantiqiy-matematik usullar: masalan, inkor amali, konyunksiya, dizyunksiya amallari kabilar; b) nazariy-informatsion usullar;

c) ehtimollik-statistik usullari.

Kompyuter lingvistikasining ana shunday nazariy va amaliy asoslarini belgilashda Daniya olimi L.Elmslev, amerikalik olimlar N.Xomskiy, K.Shenon kabilarning xizmati kattadir.

Kompyuter lingvistikasining amaliy muammolari XX asrning o‘rtalarida vujudga keldi. Bu narsa birinchi navbatda mashina tarjimasi (MT) bilan aloqadordir. 1954-yilda AQSHda IBM – 701 rusumli tarjima qurilmasi yaratildi va bu qurilma 250 ta so‘zdan iborat 60 ga yaqin ruscha gaplarni ingliz tiliga tarjima qilish jarayonini amalga oshirdi. Bu ishga P.Gavren, L.Dostert, P.Sheridanlar ishtirok etdilar.

1955-yilga kelib sobiq Ittifoqda BESM rusumli mashina qurilmasi yordamida inglizcha gaplarni rus tiliga tarjima qilish jarayoni amalga oshirildi (I.K.Belskaya, L.N.Korolev, S.N.Razumovskiy kabilar). Shundan keyin jahonning Angliya, Fransiya, Avstriya kabi ko‘pgina mamlakatlarida olimlar mashina tarjimasi muammolari bilan maxsus shug‘ullana boshladilar. Natijada tilshunos olimlar ma’lum bir tilni tipologik jihatdan tasniflash, uning materiallarini analiz va sintez qilish, mashina tiliga o‘tkazish bilan shug‘ullandilar va muayyan natijalarga erishdilar.

Bunday muammolarni lingvistiktadqiqotlarni avtomatlashtirish orqali hal etish mumkin. Bu masalaga doir tilshunoslarning maxsus ilmiy anjumanlari o‘tkazilgan.Masalan, 1962-yilda Kembridj shahrida jahon tilshunoslarining 1Xkongressi o‘tkazildi. Bu anjumanda structural tilshunoslik (ST) va ML muammolarini muhokama qilishga alohida o‘rin ajratilgan edi.

1967-yilda Buxarest shahrida jahon tilshunoslarining X-kongressi o‘tkazilib, bunda ham kompyuter lingvistikasi va MT muammolari maxsus muhokama qilindi. 1960-yilda Parij shahrida xalqaro kongress o‘tkazilib, bunda maxsus algoritmik til – ALGOL joriy etilgan edi. Bu algoritmik til hozirgi kunga qadar EHMga matnlarni kiritish, ularni dasturlash uchun xizmat qilib kelmoqda.

1996-yil 20-21-mayda Samarqand shahrida sohibqiron Amir Temurning 660 yilligiga bag‘ishlangan “Injenerlik tilshunosligi va til o‘qitish jarayonini kompyuterlashtirish” muammolariga doir 2-xalqaro ilmiy anjuman o‘tkazildi. Bu anjumanni akademik R.G.Piotrovskiy “Injenerlik tilshunosligi va mustaqil davlatlardainformatsion industriyaning tiklanishi” mavzuidagi ma’ruzasi bilan boshlab berdi. Shuningdek, bu anjumanda “Turkiy tillar mashina fondining dolzarb masalalari”, “Injenerlik tilshunosligi va lug‘atshunoslik”, “Nutq sistemasi va uning unsurlarini kompyuter yordamida andozalash” singario‘ttizdan ortiq qiziqarli ma’ruzalar tinglandi hamda muhokama qilindi. Bu anjuman materiallari alohidato‘plam shaklida nashr etilgan.

XX asrning 80-yillaridan boshlab tilo‘qitishni avtomatlashtirish va unga kompyuterni joriy etish muammolariga qiziqish kuchaydi. 1988-yilda

R.G.Piotrovskiyning “Chet tilini o‘qitishda kompyuterlashtirish masalalari” nomli asari nashr etilgan edi⁴. Bu asar “Kirish” va “Xulosa”dan tashqari besh bobni o‘z ichiga oladi. Asar boblarining nomlanishi quyidagicha: 1. Tabiiy til va uning didaktik modeli (4-15-betlar); 2. Inson miyasi va kompyuter “miyasi” (15-24betlar); 3. Kompyuter yordamida lingvodidaktik masalalarni yechishning tamoyillari (24-44-betlar); 4.Nutqiy va til materialini tanlash hamda tillarni o‘qitishni optimizatsiyalash (44-58-betlar), 5. Til o‘rgatuvchi lingvistik avtomat va tillarni o‘qitishni optimizatsiyalash (58-73-betlar).

Tilshunoslikda EHMningqo‘llanilishi avtomatik tarjima muammolari bilan shug‘ullanish, mashina yordamida matn tuzish, uni qisqartirish, sintezlash jarayonini amalga oshirish uchun keng imkoniyatlar yaratdi. Natijadamashina til materiallarini formallashtirish, chastotali lug‘atlar tuzish, turli qisqartmalar va simvollardan foydalanish, MT algoritmini tuzish bilan shug‘ullanmoqda.

Keyingi yillarda mamlakatimizda kompyuter lingvistikasi muammolariga oid ayrim ishlar yaratildi. Bu o‘rinda S.Muxamedov va R.G.Piotrovskiy⁵,

A.K.Po‘latov⁶, S.Muxamedova⁷, S.Rizayev⁸ kabi olimlarning ishlarini alohida ta’kidlash lozim.

Tilni algoritmik jihatdan tasvirlash jarayoni matnni analiz va sintez qilishni taqozo etadi. Bu esa “mazmun - matn” muammosi faqatsof lingvistik muammo bo‘lib qolmay, balki matnni bir qator logik-matematik interpretatsiya (sharhlash) qilish jarayonini ham taqozo etuvchi murakkab muammo ekanligini ko‘rsatadi. Bu jarayonlarning barchasi matematik mantiq (logika) elementlari bilan aloqadordir.

Kompyuter lingvistikasi sun’iy intellektni yaratishda tirik mavjudotlar va insonlardagi intellektual jarayonlarni matematik va kompyuter modelini tuzuvchi fan tarmog‘i bo‘lib, uning markazida tabiiy tillar ifodasining matematik modellaridan foydalanish turadi. Bu soha qisman tabiiy tillarni qayta ishlash bilan kesishadi. So‘nggi urg‘u mavhum modellarga emas, kompyuter tizimi uchun tillarning qayta ishlangan va ularning ifodasidagi amaliy metodlarga beriladi. Kompyuter lingvistikasi tadqiqotchilarining faoliyati til ma’lumotlarini qayta ishlash uchun amaliy dasturlar va algoritmlar ishlanmasini yaratish hisoblanadi.

Bugungi kunda tilshunoslikda kompyuter orqali bajariladigan ishlar bir muncha ko‘paydi. Shuningdek, foydalanuvchiga qulaylik yaratuvchi lingvistik dasturlarga talab yanada oshib bormoqda.Bunga sabab informatsion olamning kengayishi va insonlarning qulaylikka hamda tezkorlikka intilishi deb baholashimiz mumkin. Kompyuter yordamida orfografik, tarjima dasturlari, sinonim, antonim, omonim lug‘atlarini yaratish, matnlarni avtomatik ravishda tarjima qilish, matnlarni to‘g‘ri tahrir qilish, hujjatlarni tahlil qilish, ma’lumotlar bazasini ishlab chiqish lingvistik modellar asosidagi mukammal dasturlarni yaratishni taqozo etmoqda. Buning natijasida sun’iy intellekt bo‘lmish kompyuterga va uning intellekt darajasini oshirib boruvchi insonga nisbatan “Inson-kompyuter”, “kompyuter-Inson” birikmalari paydo bo‘ldi. Kompyuter

lingvistikasi bo‘yicha yirik mutaxassis Abdumajid Po‘latov

lingvistika+matematika+kompyuter birligida ishlash lozimligini aytar ekan, quyidagi ishlarni amalga oshirish zarurligini ta’kidlab o‘tadi:

• 
  Tilni (o‘zbek tilini) sistemalash, to‘liq ma’lumotlar bazasini yaratish va uni dunyo tili (ingliz tili) bilan qiyoslash.
  
• 
  Fanning boshqa sohalariga ham xizmat qiladigan o‘zbek tilining aniq, qisqa va xalqaro me’yorlarga asoslangan axborot uslubini yaratish.
  
• 
  O‘zbek tili grammatikasining formal va aksiomatik modellarini yaratish.
  
• 
  O‘zbek tilida bajariladigan kompyuter dasturlarini yaratish
  

Xorijda va Rossiyada kompyuter lingvistikasiga oid tadqiqotlarning ko‘lami keng. O‘zbekistonda esa bu soha rivojlanish bosqichida turibdi. Shunday ekan, o‘zbekkompyuter lingvistikasi o‘z shakllanish tarixiga ega, uning kelajagi bor.

Barcha davrlar ilm-fan oldiga o‘z talabini qo‘yadi. Fanning asosiy vazifasi mavjud holatni tanqid qilish, yangi bosqichga ko‘tarish, yangi yo‘nalishlar ochish, ertangi kun imkoniyatlari va talablariga mos ravishda rivojlantirishdir ⁹. Kompyuter lingvistikasi ham yangi paydo bo‘lgan fan tarmog‘i sifatida o‘zbek tilshunosligi oldiga qator muhim vazifalarni qo‘yadi:

• 
  o‘zbekcha imlo, tezaurus, omonimlar lug‘atining kompyuter dasturlarini yaratish;
  
• 
  o‘zbek tilini chet tili sifatida o‘rganuvchilar uchun mukammal dasturlar yaratish;
  
• 
  turli tillardagi matnlarni o‘zbek tiliga imkon boricha sifatli tarjima qiluvchi kompyuter dasturlarini yaratish;
  
• 
  turli tillardagi matnlarni o‘zbek tiliga imkon boricha sifatli tarjima qiluvchi kompyuter dasturlarini yaratish;
  
• 
  matn tahririda orfografik, punktuatsion xatolarni aniqlovchi kompyuter dasturining o‘zbek tilidagi variantini yaratish;
  
• 
  matn mazmunini yaxshi o‘zlashtirish uchun savol-javob tizimiga asoslangan dasturlar yaratish;
  
• 
  o‘zbek tilida qolipi nisbatan qat’iy bo‘lgan rasmiy uslub uchun ma’lumotlar bazasini yaratish;
  
• 
  bilimlarni baholash bilan bog‘liq dasturlar yaratish va boshqalar.
  

O‘zbek kompyuter lingvistikasida amalga oshirilgan ilk tadqiqot ishlari, asosan, statistik tahlil yo‘nalishidadir. Bu borada izlanish olib borgan olimlar sifatida S.Rizayev va S.Muhamedovlarni alohida ko‘rsatish mumkin.

S.Muhamedov o‘zining R.R.Piotrovskiy bilan hamkorlikda yozgan

“Инженерная лингвистика и опыт системно-статического исследования узбекскихт екстов» nomli kitobida lingvistik modellar, modellashtirish va ularning umumiy tamoyillari haqida fikr yuritib, o‘zbekcha matnlarning kvantitativ modellarini keltirgan¹⁰.Mazkur asarda sun’iy intellekt yaratish va injener lingvistikasi metodlari bilan o‘zbekcha nutqni avtomatik qayta ishlash jarayonida foydalanish uchun zarur bo‘lgan o‘zbekcha matnlarning leksikmorfologik tuzilishi statistik tahlili natijalari keltirilgan.

S.Rizayev “Kibernetika va tilshunoslik” asarida tilshunoslikda aniq metodlarning qo‘llanilishi va bunda kompyuterdan foydalanish, til va nutq hodisalariga statistik yondashishning sabablari hamda matnlarni avtomatik qayta ishlash, mashina tarjimasi muammolari, shuningdek, harflarning qo‘llanish chastotasini aniqlashda kompyuterning o‘rni borasidagi ma’lumotlar keltirilgan¹¹.

O‘zbek tili materiallari bo‘yicha kompyuter tilshunosligiga oid dastlabki

tadqiqotlarni olib borgan olimlar H.Arziqulov, S.Rizayev va

S.Muhamedovlardir. Ular, asosan, kompyuter lingvistikasining stastistik tahlil, avtomatik tahrir yo‘nalishlari bo‘yicha nazariy va amaliy ishlarni amalga oshirishgan.

H.Arziqulovo‘zining«Информатикаипереработкатекстасредствамивычислител ьнойтехники»nomli monografiyasida kompyuter yordamida katta hajmdagi matnlarga ishlov berishning avtomatik tizimi asoslarini chuqur tahlil qilgan. Muhimi, professor H.Arziqulov rahbarligida Samarqand davlat chet tillari institutida injener tilshunosligi markazi tashkil etilgan. Bu markazda davlat tilidagi matnlarga kompyuter yordamida qayta ishlov berish masalalari ustida ilmiy izlanishlar olib borilgan. Bunda matnlarga qayta ishlov beradigan kompyuter dasturlarini yaratish, o‘zbek tilining barcha sathlariga oid matnlarni yig‘ish, ularni muayyan bir tizimga keltirish, algoritmlarni tuzish, ularga statistik jihatdan ishlov berish, inglizcha-o‘zbekcha mashina tarjimasi dasturini yaratish kabi sohalarda ilmiy-tadqiqot ishlari olib borilgan. O‘zbekcha matnlarga qayta ishlov beruvchi avtomatik tizim “Uzlington”, lotin alifbosidagi matnlarni krill alifbosiga va krill alifbosidan lotin alifbosiga o‘tkazuvchi “Spellchecker”, kompyuter ko‘magida korrektura qiladigan, imloviy xatolarni tuzatadigan kompyuter dasturlarini yaratishga birinchilardan bo‘lib qo‘l urgan¹².

So‘nggi yillardao‘zbek kompyuter lingvistikasi asta-sekinlik bilan

shakllanmoqda. Ayniqsa, bu sohada A.Po‘latov, N.Jo‘rayevlarning

«Разработкаформальноймоделиграмматикиузбекскогоязыка», A.Po‘latov,

B.Alixo‘jayev,N.Jo‘rayevlarning

“Разработкапрограммыкомпьютерногоанализаисинтезаглаголовузбекскогояз ыка”, Muhamedova S “Harakat fe’llari asosida kompyuter dasturlari uchun lingvistik ta’min yaratish” (2006), A.Po‘latov, S.Muhamedovalarning “Kompyuter lingvistikasida avtomatik tahrir qiluvchi dasturning lingvistik ta’minotini yaratish” nomli maqolasi, A.Po‘latov, S.Muhamedovalarning “Kompyuter lingvistika” nomli o‘quv qo‘llanmasi (2007), A.Rahimovning

“Kompyuter lingvistikasi asoslari” o‘quv qo‘llanmasi (2011) muhim ahamiyatga molik.

Bugungi kungacha o‘zbek kompyuter lingvistikasi sohasi doirasida qilingan ishlarda ko‘proq fanning predmet va vazifalarini aniqlash, kelgusida amalga oshirilishi kerak bo‘lgan masalalarga nazariy yondashilgan, o‘zbek tilidagi affikslarning qo‘llanilish ko‘lami (ot turkumidagi affikslar kombinatsiyasi) statistik tadqiq etilgan, fe’l turkumidagi so‘zlarning (“ishlamoq” fe’li misolida) maksimal qo‘llanilish hisobi (103 mingta) o‘zbek–ingliz–rus tillarida berilgan. Endilikda ushbu nazariy ilmiy ishlardan foydalangan holda quyidagilarni amaliyotga tatbiq qilish kerak:

1. 
   O‘zbek adabiy tilining kompyuterga kiritishga moslashtirilgan standart grammatikasini yaratish.
   
2. 
   Me’yoriy masalalarni chuqur tadqiq etish; so‘z qo‘llash me’yori, kalkalash, uslubiy me’yorlarni va yozma nutq me’yorlarini qat’iy belgilab, dastur qilib kompyuterga kiritish.
   
3. 
   Affikslar aranjirovkasi (ketma-ketligini) qat’iylashtirish.
   
4. 
   Juft, takror, qo‘shma so‘z, iboralarning chet tillarga tarjimasi bilan birgalikdagi elektron lug‘atini yaratish.
   
5. 
   Gap bo‘laklarining joylashish tartibining barcha holatlarini, flektiv tillardagi barcha holatlarini, flektiv tillardagi farqli jihatlari bilan, dasturga joylashtirishga zamin yaratuvchi ma’lumotlar bazasini berish.
   
6. 
   So‘z birikmalarining belgili va belgisiz qo‘llanilish qonuniyatlarini berish.
   
7. 
   Gapning barcha xususiy va umumiy me’yorlarini belgilash kabilar kiradi ¹³.
   

Ushbu dolzarb masalalar ustida kompyuter mutaxassislari bilan hamkorlikda ilmiy va amaliy izlanishlar olib borilmoqda.

So‘nggi paytlarda insoniyat hayotida yaqqol ko‘zga tashlanadigan jarayonlardan asosiylari – bu globalizatsiya, integratsiya, standartizatsiya va optimizatsiya jarayonlaridir¹⁴.Tezkor sur’atda rivojlanib borayotgan fan va texnika davrida inson juda hajmdagi axborot ustida tezkorlik bilan ishlashiga to‘g‘ri keladi. Bu jarayonni boshqarishda insonning imkoniyatlari (xotira tezligi) chegaralangan. Axborotni qabul qilish va uning ustida ishlash samaradorligini oshirishning yagona yo‘li sun’iy intellekt – kompyuterdan foydalanishdir. Bu o‘z navbatida hamma sohaning kompyuter uslubini yaratishni talab qiladi.

Til –ijtimoiy hodisa. Tilning ijtimoiyligidan kelib chiqib, fan-texnika jadal rivojlanayotgan bir paytda rivojlangan davlatlarda milliy tilni rivojlantirish, optimal ko‘rinishga keltirish, formallashtirish borasida samarali ishlar qilinmoqda. Jumlada, Socrat, “AABBYY Lingvo” kabi elektron lug‘atlarning yaratilganini ko‘rsatishimiz mumkin. Bugungi kunda o‘zbek tilining dunyo miqiyosidagi ahamiyatini oshirish va boshqa dunyo tillari qatoriga qo‘shish uchun qator lingvistik masalalarni hal etish tilshunoslar oldidagi muhim vazifalardan biri hisoblanadi. Shunday vazifalardan biri o‘zbekcha matnlarni kompyuter vositasida tahrir qiluvchi dasturning lingvistik mezonlarini ishlab chiqishdir. Ishni amalga oshirishda tilshunoslar malakali dasturchilar bilan hamkorlikda ish olib borishlari kerak. Tilshunos – ma’lumotlar bazasini yig‘ib beruvchi, lingvistik ta’minotchi, dasturchi esa ma’lumotlarning qulay ishlash dasturini yaratuvchidir. Shuning uchun tilni kompyuter yordamida modellashtirish (qoliplash) bir tomondan, informatika va dasturlash nazariyasi fanlarining o‘rganish sohasi bo‘lsa, ikkinchi tomondan, tilshunoslik fanining tekshirish obyekti sanaladi.