1-amaliy mashg`ulot

1-AMALIY MASHG`ULOT
KOMPYUTER LINGVISTIKASINING RIVOJLANISH BOSQICHLARI. KOMPYUTER LINGVISTIKASI YO`NALISHLARI. O`ZBEK TILINING MORFOLOGIK LUG`ATINI TAKOMILLASHTIRISH
Reja:
1.Kompyuter lingvistikasi fanining yuzaga kelish asoslari.
2.Kompyuter lingvistikasi va m atem atik lingvistika.
3.Kompyuter lingvistikasi fanining tekshirish obyekti, m aqsad va vazifalari.
4.Kompyuter lingvistikasi va klassik tilshunoslik.
Tayanch so‘z va iboralar: til algebrasi, matematik lingvistika, kompyuter lingvistikasi, mashina tarjimasi, metatil, sun ’iy til, deskriptiv, kvantitativ, muloqotning optimal modeli, analiz, sintez, NLP, injener lingvistikasi, generatsiya, tilshunoslik va adabiyotshunoslik sohalarida kompyuterdan unumli foydalanish, tillarni o'qitish, bilimlarini baholash, matnlarni tahrir qilish, tabiiy tillarning matem atik modeli, о’zbek tilining kompyuter uslubi, matnlar korpusi, elektron lug‘at, tezaurus.
Jamiyatimizda hozirgi kunda avtomatlashgan informatsion texnologiyalar va kompyuter muhim ahamiyat kasb etmoqda. Kompyuter kundan kunga jamiyatning barcha sohalariga kirib bormoqda. Bu esa yangi yo‘nalishlarning yuzaga kelishiga sabab bolm oqda. Xususan, kompyuter texnologiyalarining tilshunoslik fani bilan ijobiy hamkorligi natijasida kompyuter lingvistikasi fani shakllandi. Bu fan XX asrning 50 - 60-yillarida yuzaga kelgan bo‘lib, u turlicha nomlar bilan atalgan: hisoblash lingvistikasi, matematik lingvistilca, kvantitativ lingvistika, injener lingvistikasi kabi. O’tgan yarim asrlik vaqt m obaynida kompyuter lingvistikasi sohasida bir qator ilmiy va amaliy natijalarga erishilgan: tabiiy tilda avtom atik tarjima tizimi yaratildi, matndagi m a’lumotlarning avtomatik qidiruv tizimi ishlab chiqildi, og‘zaki nutqning avtomatik analizi va sintezi tizimi yaratildi, bir qator lingvistik muammolarni hal etuvchi kompyuter dasturlari ishlab chiqildi, inson va mashina (kompyuter) muloqoti optimallashtirildi, tabiiy tilni qayta ishlash (Natural Language Processing) tizimi shakllantirildi. Bu yo'nalishlarda sezilarli yutuqlar q o’lga kiritilgan boisa-da, lekin sanalgan m asalalar hali to iiq o’z yechimini topgani yo‘q. Chunki inson tili va tafakkuri sirli m ohiyatga ega, uning biz anglamagan qirralari juda ko’p. Bu esa kom pyuter lingvistikasi doirasida to‘xtovsiz izlanishlar olib borishni taqozo etadi.
Ma’lumki, tilshunoslik fani XIX (1816-yilda) asrda mustaqil fan sifatida shakllandi. Shundan boshlab u turli aspektlarda, yo'nalishlarda rivojlanib kelmoqda. Keyingi yillarda barcha fanlardagi kabi tilshunoslikda ham ikki fanning «chorrahasida» (kesishuvida) yuzaga kelgan fanlar jadal rivojlanmoqda. Jum ladan, ana shunday fanlar sirasiga sotsiolingvistika (sotsiologiya va tilshunoslik), psixolingvistika (psixologiya va tilshunoslik), etnolingvistika (etnografiya va lingvistika), neyrolingvistika (nevrologiya va tilshunoslik), m atem atik lingvistika va kom pyuter lingvistikasi fanlarini kiritish mumkin. Bunday holni boshqa fanlar doirasida ham kuzatish mumkin: biokimyo, astrofizika, m atem atik fizika, m atem atik logika kabi. Buni fanlar tizimida bir necha fanlarning о‘zaro hamkorligi, integratsiyasi deb baholash lozim b o’ladi. XX asrning 50-yillaridan boshlab tilshunoslikda «mashina tarjimasi», «mashina tilshunosligi» atam alari q oilanila boshlandi. Mazkur asrning buyuk kashfiyoti b o’lgan kom pyuter texnologiyalari tilshunoslikka ham kirib kclganining isboti edi. Mashina tarjim asi yoki avtom atik tarjim a deyilganda bir tildagi m atnni ikkinchi bir tilga EHM (kompyuter) vositasida, tez vaqt ichida tarjima qilish nazarda tutiladi. M ashina tarjim asining asoschilari kibernetika va m atem atika sohasi vakillari bo'lib, keyinchalik bu ishda tilshunoslar ham faol qatnasha boshlagan. Shu tariqa mashina tarjimasi g‘oyalari butun dunyoda nazariy va amaliy tilshunoslikning rivojlanishida katta aham iyat kasb etdi. Bu yo‘nalish bilan parallel ravishda form al gram m atika nazariyasi yuzaga kelib, til va uning alohida aspektlari modelini yaratishga e’tibor qaratildi. Tilning bu jihatlari m atem atik lingvistika fanida ishlab chiqildi, bu, o’z navbatida, kom pyuter lingvistikasi fanining yuzaga kelishi uchun poydevor b o’ldi. Dem ak, shu asosda Tilshunoslikning yangi yo'nalishi - kompyuter lingvistikasi va tilshunoslikning bir qator nazariy va amaliy yo‘nalishlari vujudga keldi.
Matematik lingvistika fani XX asrning 50-yillarida (1952-yilda) tilshunoslikning alohida y o’nalishi sifatida yuzaga keldi. Bu fanning shakllanishida Kopengagen struktural tilshunoslik maktabi (glossematika)ning asoschisi Lui Yelmslevning g‘oyalari o’ziga xos «turtki» vazifasini o’tagan. U hatto til hodisalarini m atem atik bayonda tushuntiradigan fanning nomini ham taklif etgan. Olim ning fikricha, bu fan «Til algebrasi» («IJngvistik algebra») deb atalishi lozim edi.3 Amerikalik tilshunos Noam Chomskiyning formal gram m atika, transform atsion gram m atika haqidagi qarashlari bevosita m atem atik lingvistilcaning alohida yo‘nalish sifatida yuzaga kelishiga sabab bo'lgan.4 M ana shunday qarashlar ta ’sirida m atem atik lingvistika fani shakllandi. M atem atik lingvistika - bu tabiiy tillarning m atem atik modellarini (bunday form allashgan til metatil deb ataladi) ishlab chiqish, xususan, sun’iy tillarni yaratish algoritm ini tuzish bilan shug‘ullanuvehi fandir. M atem atik lingvistika oldida turuvchi eng muhim masalalar quyidagilardir:
tilning aksiom atik nazariyasini ishlab chiqish;
formal gram m atika yaratish;
tillarning m atem atik modellarini ishlab chiqish.
H ar bir fanning o ‘z m aqsad va vazifalari b o ia d i. M atem atik lingvistika fanining asosiy m aqsadi tabiiy tillarning m atem atik modelini ishlab chiqishdir. Ushbu m aqsadga erishish uchun fan o ‘z oldiga quyidagi vazifalarni q o‘yadi:
- tabiiy va sun’iy tillarning formal modellari algoritmini ishlab chiqish;
- lisoniy hodisalam i m atem atik param etrlarda baholash;
- til hodisalarini m atem atik m etodlar yordam ida tahlil qilish (ehtimollar nazariyasi, statistika va kvantitativ metodlarni tatbiq etish).
Kompyuter lingvistikasi m atem atik lingvistikaning mantiqiy davomi bo‘lib, u amaliy tilshunoslikning eng muhim qismini tashkil etadi. Kompyuter lingvistikasi 1954-yil AQ SH da Jorjtaun universitetida m ashina tarjimasi b o ‘yicha dunyoda o'tkazilgan birinchi tajriba asnosida yo'nalish sifatida shakllana boshladi, 1960-yilga kelib m ustaqil fan sifatida shakllandi.
Kompyuter lingvistikasi inglizcha «com putational linguistics» so'zining kalkasidir. XX asrning 80-yillariga qadar bu fan turlicha nom lar bilan atalgan: hisoblash lingvistikasi, m atem atik lingvistika, kvantitativ lingvistika, injener lingvistikasi kabi. Bu fanning asosiy m aqsadi lingvistik m asalalarni yechishning kom pyuter dasturlarini ishlab chiqish, inson va m ashina (kompyuter) m uloqotini optim allashtirishs, tabiiy tilni qayta ishlash (Natural Language Processing)dir.(i NLP kompyuter lingvistikasida tabiiy tillarning kompyuter analizi va sintezini o ‘z ichiga oladi. Bunda analiz tabiiy tilning kompyuterda morfologik, sintaktik va semantik tahlil yordam ida tushunilishiga nisbatan ishlatiladi, sintez esa kom pyuterda m atnning gram m atik shakllantirilishi va generatsiyasi (hosil qilinishi) dem akdir. NLP bo‘yicha yaratilgan dasturiy ta ’m inotlar quyidagilar: AlchemyAPI, Expert System S.p.A., General Architecture fo r Text Engineering (GA ТЕ), Modular Audio Recognition Framework, M onty Lingua, Natural Language Toolkit (N L T K ).
K om pyuter lingvistikasining asosiy vazifalariga quyidagilar kiradi:
- avtomatik o‘qitish tizimini ishlab chiqish;
- bilimlarni tekshirish;
- matnlarni turlijihatdan avtom atik tahrirlash;
- m atnlarning avtom atik tarzda morfologik, sintaktik va sem antik tahlilini (inglizcha parsing) ta ’minlovchi tizimlar yaratish (parser dasturlar);
- mashina tarjimasi uchun moMjallangan dasturlarni ishlab chiqish;
- lug‘atlarni va kom pyuterdagi m atnni statistik tahlil qilish;
- lingvistik m uam m olarni hal qilishga yo‘naltirilgan optim al dasturlar yaratish;
- m uloqotning kom pyuter modelini ishlab chiqish;
- m atn strukturasining gipertekst texnologiyasini yaratish;
- elektron lug'atlar va tezauruslar yaratish;
- sun’iy intellekt tizimini ishlab chiqish;
- m atnlar korpusini yaratish;
- m atnni avtom atik referatlash;
- sujet strukturasini modeilashtirish;
- nutqni avtom atik tushunish tizimini ishlab chiqish (inglizcha ASR - Automatic Speech Recognition);
- m atndan faktlarni avtom atik ajratib olish (inglizcha fact extraction, text mining).
Kompyuter lingvistikasida nomlaniladigan va yaratiladigan lingvistik vositalarni shartli ravishda ilcki qismga bo‘lish mumkin: deklarativ ham da protsedura qismlari. D eklarativ qismga til va nutq birliklari lug'ati, gramm atik m a’lumotnomalar, m atnlar korpusi kabilarni kiritish mumkin. Protsedura qismi esa yuqoridagi lingvistik ta ’minot bazasini boshqarish vositalarini (algoritm lar tuzish, dasturlar yaratish, kom pyuter analizi va sintezi kabilar) o ‘z ichiga oladi.


Topshiriqlar:

1. 
   Matematik lingvistika va kompyuter lingvistikasi fanlarining amaliy ahamiyati nimadan iborat?
   
2. 
   Tabiiy til va sun’iy til munosabatini qanday izohlaysiz?
   
3. 
   Kompyuter lingvistikasining asosiy muammolari sifatida nimalarni ajratib ko‘rsatish mumkin?
   
4. 
   Tilda aniqlikka erishish uchun nim alar qilish lozim deb o‘ylaysiz?
   
5. 
   Kompyuter lingvistikasi fanining yuzaga kelish asoslarini tushuntiring.
   
6.