Hzamatjon RfiHlmqu kompyuter imvistikasi asoslar I иЛК: 519. 711 32. 973 R33

Tayanch so'z va iboralar: til algebrasi, maternalik lingvistika, kompyuter lingvistikasi, mashina tarjimasi, mctatil, sun'iy til, deskriptiv, kvantitativ, nniloqotnmg optimal modcli, analiz, sintez, NLP, injcnev lingvistikasi, gene- ratsiya, tUshunoslik va adabiyotshunoslik soltalaritla kompyuterdau unurnli fayduhmish, tdlanii о 'qitish, bilini/arini baholash, matnlarni tahrir qilish, tabiiy ttlkniiing matematik modcli, о 'zbek tilinhig kompyuter usluhi, matn- lar korpusi. elektron lug'at tezaurua.
Malumki, tilshunoslik fani XIX (1816-vilda)'a<;rda mustaqil fan sifatida shakllandi. Shundan boshlab u turli aspektlarda, yo'nalishlarda rivojlanib kelmoqda. Keyingi yil'arda barcha fanlardagi kabi t^;'shunoslikda ham ikki fanning «chorrahasida» (kesishuvida) yuzaga kelgan fanlar jadal rivojlan- moqda. Jumladan, ana shunday fanlar siiasiga sot; iolingvistika (sotsiologiya va ilshunoslik), psixolingvis ika (psixologiya va ti'shunoslik), etnolingvis- tika (etnografiya va lingvistika), neyrolingvistika (nevrologiya va tilshun­oslik), maiematik lingvistika va kompyuter lingvistikasi fanlarini kiritish mumkin. Bunday holm bosliqa fanlar doirasida ham kuzatish mumkin: biokimyo, astrofizika, matematik fpika, matematik Iog^;ka kabi. Buni fan­lar tizimida bir necha fanlai ning o'zaro hamkor gi, integratsiyasi deb ba­holash lozim bo'lad XX asrning 50-yillaridan boshlab tilshunoslikda «mashina tarjimasi», «mashina tilshunosligi» atamalar' qo llauila boshlan- di.¹ Mazkur asrning buyuk kashfiyoti bo'lgan kompyuter texnologiyalari tilshunoslikka ham kiiib kelganming isbou edi.² Mashina tarjimasi yoki avtomatik tarjima deyilganda bir ti'dagi matnm lkkinchi bir tilga EHM (kompyuter) vositasida, tez vaqt ichida lai ima qilish nazerda tutiladi. Mashi­na tarjimasining asoschilar kibcrnc Matematik lingvistika fani XX asrning 50- yillarida (1952 yikla) ulshu- noslikning alohida yo'nalishi sifatida yuzaga kcldi. Bu fanaing shaklla- mshida Kopcngagen struktural tilshunoslik maktabi (glosscmatika)ningasos- chisi Lui Yelmslevning g'oyalari o'/.iga xos «Lurtki» vazifasini o'lagan. U hatto til hodisalatini matematik bayonda lushuntiradigan fanning nomini ham taklif etgan. Olimning fikricha, bu fan «Til algebrasi» («Lingvistik algebra») deb atalish" lozim edi.³ Amerikalik tilshunos Noam Chomskiy ning formal grammatika, transformat: ion grammiuika haqidagi qarashlari bevosita matematik lingvistika*iing alohida yo'nalish sifiitida yuzaga kelishi- ga sabab bo'lgan.⁴ Mana shunday qarashlar ta'sirida matematik lingvistika fani shakllanc". Matematik lingvistika - bu tabuy tillarning matematik modellarini (bunday formallashgan t ¹ metatil deb ataladi) ishlab chiqish, xususan, sun'iy ti'larn yart _Lish algoritm.i.i tuzish bilan shug'ullanuvchi fandir Matematik lingvistika oldida turuvchi eng muhiin masalalar quyi- dagilardir:
- tilning aksiomalik nazariyasin ishlab eniqish;

• 
  formal grammatika yaratish;
  
• 
  tillarning matematik modellarini ishlab chiqish.
  

Har bir fanning o'z maqsad va vazifalari bo'ladi. Matematik lingvistika fanining asosiy maqsadi tabiiy tillarning matematik modelini ishlab chi- qishdir. Ushbu maqsadga erishish uchun fan o'z oldiga quyidagi vazifalarni qo'yadi:

• 
  tabiiy va sun'iy tillarning formal modellari algoritmini ishlab chiqish;
  
• 
  lisoniy hodisalarni matematik parametrlarda baholash;
  
• 
  til hodisalarini matematik metodlar yordamida tahlil qilish (ehtimol- lar nazariyasi, statistika va kvantitativ metodlarni tatbiq etish).
  

Kompyuter lingvistikasi matematik lingvistikaning mantiqiy davomi bo'lib, u amaliy tilshunoslikning eng muhim qismini tashkil etadi. Komp­yuter lingvistikasi 1954-yil AQSHda Jorjtaun universitetida mashina tarji­masi bo'yicha dunyoda o'tkazilgan birinchi tajriba asnosida yo'nalish si­fatida shakllana boshladi, 1960-yilga kelib mustaqil fan sifatida shakllandi. Kompyuter lingvistikasi inglizcha «computational linguistics» so'zining kalkasidir. XX asrning 80-yillariga qadar bu fan turlicha nomlar bilan atal- gan: hisoblash lingvistikasi, matematik lingvistika, kvantitativ lingvistika, injener lingvistikasi kabi. Bu fanning asosiy maqsadi lingvistik masalalarni yechishning kompyuter dasturlarini ishlab chiqish, inson va mashina (komp­yuter) muloqotini optimallashtirish⁵, tabiiy tilni qayta ishlash (Natural Lan­guage Processing)dir.⁶ NLP kompyuter lingvistikasida tabiiy tillarning komp­yuter analizi va sintezini o'z ichiga oladi. Bunda analiz tabiiy tilning komp- yuterda morfologik, sintaktik va semantik tahlil yordamida tushunilishiga nisbatan ishlatiladi, sintez esa kompyuterda matnning grammatik shakllan- tirilishi va generatsiyasi (hosil qilinishi) demakdir. NLP bo'yicha yaratil- gan dasturiy ta'minotlar quyidagilar: AlchemyAPI, Expert System S.p.A., General Architecture for Text Engineering (GATE), Modular Audio Recog­nition Framework, Monty Lingua, Natural Language Toolkit (NLTK).
Kompyuter lingvistikasining asosiy vazifalariga quyidagilar kiradi:

• 
  avtomatik o'qitish tizimini ishlab chiqish;
  
• 
  bilimlarni tekshirish;
  
• 
  matnlarni turli jihatdan avtomatik tahrirlash;
  
• 
  matnlarning avtomatik tarzda morfologik, sintaktik va semantik tah- lilini (inglizcha parsing) ta'minlovchi tizimlar yaratish (parser dasturlar);
  
• 
  mashina tarjimasi uchun mo hallangan dasturlarni ishlab chiqish;
  
• 
  lug atlarni va kompyuterdag¹ matnm statistik tahlil qilish;
  
• 
  lingvistik muammolarm hal qilishga yo'na'nrilgan op^r,mal dasturlar yaratibh;
  
• 
  muloqotmng kompvuter modehm r.hlab chiaish;
  
• 
  main struklurasining pipertekst texnologiyasini yaratish;
  
• 
  elektron lug'atlar va tczauruslar yaratish;
  
• 
  sun'iy intellekt tizinum ishlab chiqish;
  
• 
  matnlar korpt'sir¹ yaratish;
  
• 
  matnni avtomatik refeiatlash;
  
• 
  suitt strukturasini modellashtirish;
  
• 
  nutqni avtomaiik tushunish tizimmi ishlab chiqish (inglizcha ASR - Automatic Speech Recognition);
  
• 
  matndan faktlarni avtomatik ajratib olish (inglizcha fact extraction, text mining).
  

Kompyuter lingvistikas'da qo'llabdadigan va yaratiladigan lingvistik vositalarni shartli raviohda ikk qismga bo'lish mumk'n deklarativ hamda protsedura qismlari. Deklarativ qismga til va nutq birl^:k!ari lug'ati, gram- matik ma'lumotnomalar, matnlar korpusi kabilarni kiritish mumkin. Prot­sedura qismi esa yuqoridap lingvistik ta'minot bazasim boshqarish vosi- talarini (algoritmlar tuzish, dasturlar yaratish, kompyuter analizi va sintezi kabilar) o'z ichiga oladi.
O'zbek ti^i; materiallan bo'yicha kompyuter lingvisunasiga oid tadqiqot olib borgan olimlar sifatida H.Arzii julov. S.Rizayev, S.Mutiamcdov,

1. 
   Po'latov, S.Muhamedova, N.Jo'rayevalarni ko'rsati",h mumkin. Olimlar asosan statistik tahl 1, algoiitmlash, o'zbek t mi.ig aksiomatik nazariyasi, fe'llarnitig kompyuter analizi va sintezi kabi yo'nalishlar bo'yicha lzlanishlar- ni amalga oshirganlar. O'zbek tilshunosligida«i kompyuter lingvistikasining boshqa yo'nalishlari esa o'z tadqiqotchila.in kutmoqda. Shunga ko'ra, bu- gungi kunda o'zbek ulshunosligimng kompyuter bilan bog'liq holda hal eti- lishi lozim bo'lgan quyidagi vazifalarr. ta'kidlab ko'rsatish mumkin:⁷
   
   1. 
      O'zbek tiiiiiing kompyuter uslubnii yaratish
      
   2. 
      Axborot matnlaridagi qohplilik, oisqalik standartlarini ishlab chi­qish.
      
   3. 
      Kompyutei zohl va taijima lug'atlarmi yaransh.
      
   4. 
      O'zbek tili va adahiyoti darslilclar./iing elektron versiyala.ini ishlab chiqish
      

⁷ Po'latov A., Mahamedova S. Kompyuter lingvistikasi. - Toshkent, 2007. -

2. 
   5-6.
   

5. 
   Kompyuterda inglizcha-o'zbekcha tarjima dasturlarini ishlab chiqish
   
6. 
   Kompy uterdagi matnlarni avtomatik tah* iriash dastui larim yaratish.
   
7. 
   O'zbek tili grammatikasining kompyuter modelini yarati, h.
   
8. 
   «Inglizcha-o'zbekcha tarjimon» kompyuter dasturini ishlab chiqish
   
9. 
   O'zbek tilidagi matnlarni tahnrlash dasturlarini yaratish.
   
10. 
    O'zbek tindagi «W.ndows» operats.on tizimini yaratish
    

1 1 Inglizcha-o'zbekcha, o'zbekcha-mglizcha kompyuter lug'atlar.m ishlab chiqish
Kompyuter lingvistikasi amaliy tilshunoslikning tarkibiy qismi hisobla- nadi, u nazariy tilshunoslik yutuqlaridan foydalanadi, oziqlanadi. Komp­yuter lingvistikasi va nazariy tilshunoslik bir-binni to'ldiradi. Kompyuter lingvistikasiaa til insondan tashqartda mavhum sistema sifatida, L, Yelmslev ta'rifi bilan avtganda, «sof munosabatlar tizimi» sifat aa tavsiflanadi. Ko­mpyuter lingvistikasi va klassik (mumtoz) tilshunoslik orasidag farq qu- yidagi nuqtalarda ko'rinadi:

• 
  mumtoz tilshunoslikda til inson biian mutanosibhkda, juftlikda ko'rib chiqiladi. Ya'ni mumtoz tilshunoslik insonga yo'naltinlgan bo'ladi va uning faol ishtirokida qabul qilinadi. Kompyuter lingvisnkasi esa tavsiflash jara- yonida insonm istisno qiladi va u ko'proq kompyuterga moslashtii.ladi'
  

-mumtoz tilshunoslik ko'proq tavsifiy (deskriptiv) xarakterga ega hisob- lanadi. Kompyuter lingvistikasi esa masalani miqdoriy xarakter-stikalar va aniq parametrlar asosida hal etadi Demak, mumtoz tilshunoslik ko'proq tavsifiy bayonga asoslansa, kompyuter lingvistikasi miqdony (kvantitativ) tavsifga, algontmlash, modellashtirish, statistik tahlilga asoslanadi;
-mumtoz tilshunoslik ko'proq nazariy xarakterga ega bo'lib, ^rilshunos- liknmg nazariy masalalari b lan shug'ullanadi Kompyuter ungvistikasi esa amaliy xarakterga ega bo'lib, til bilan bog'liq muammolarning amaliy ji- hatlarigae'tiborqaratadihamda unj aniq maqsadga yo'nal'uilgan dasturlar, metodlar, tizimlar yordanuua hal etish bilan shug'ullanadi;

• 
  mumtoz tilshunoslikn.ng tahkl obyekti tabiiy t'l h.soblanadi va tahlil- da uning mavjud barcha imkoniyatlari e tiborga ohnadi. Kompyuter lingvis- tikasida esa ko'proq sun'iy tillar (programmalashtnish tillaii algoritniik tillar)ga tayaniladi, tabiiy tillarning mavjud imkoniyatlari cheklanadi, bun- da tabiiy tilga ishlov berilib (NLP), kompyuterga moslashtiriladi.
  

Fanlar hamisha o'zaro iftviy bog'liqlik va hamkorlikda ish ko'radi, ular bir- birisiz yashay olmaydi. Jumladan, kompyuter lingvistikasi fani ham bimdan mustasno emas. Kompyuter hngvistikasi mantiq, informatika, statis- tika, semiotika, kibernetika, ehtimollar nazariyasi kabi turli fan sohalan bilan o'zaro aloqadorlikda ish ko'radi.
LINGVISTIKA FANI JENSK1Y RODGA MANSUB, SHUNING UCHUNBU FANINISEVISHKERAK,SHI!NDAGINAIJN1 MUKAM- MAL, O'RGANISH MUMKIN!