Kompyuter lingvistikasi: muammolar, yechim, istiqbollar

Alisher Navoiy nomidagi Toshkent 
davlat o‘zbek tili va adabiyoti 
universiteti 
“KOMPYUTER LINGVISTIKASI: 
MUAMMOLAR, YECHIM, ISTIQBOLLAR”
Xalqaro ilmiy-amaliy konferensiya 
Vol. 1 
 
№. 01 (2022)
 
http://compling.navoiy-uni.uz/
 
111 
1.Manbalarni jamlash.
Dastlab original tildagi matnlar hamda ularning tarjimalari jamlanadi. Turli 
tip(mas.,doc, pdf, rtf)dagi matnlar oddiy matn tipiga o‘giriladi. 
2.Formatlash.
Formatlash jarayonida matnlar UTF-8(Unicode) shaklida kodlanadi hamda XML 
Corpus Encoding Standart(XCES)dan foydalanib izohlanadi. 
3.Matnlarni gaplarga ajratish.
Kodlangan matnlar turli dasturlar orqali gaplarga ajratiladi. Buning uchun Lf 
Aligner, Twente-Aligner kabi dasturlardan foydalanish mumkin hamda ularni 
internet tarmog‘ida ochiq kodli shaklda topishimiz mumkin. 
4.Tokenizatsiya.
Tokenizatsiya jarayonida so‘zlar alohida olinadi va tinish belgilaridan tozalanadi. 
5.Lingvistik izohlash. 
Ushbu jarayonda tokenlarga ajratilgan so‘zlar morfologik teglanadi. Korpus sifatini 
yanada oshirish uchun sintaktik analiz ham amalga oshirilishi mumkin. 
6.Natija. 
Yuqoridagi jarayonlardan o‘tgan matnlar foydalanuvchi so‘roviga ko‘ra aks 
ettiriladi. 
XULOSA. 
Xulosa o‘rnida aytish mumkinki, parallel korpuslar nafaqat 
tillarni o‘qitish sohasida, balki mashina tarjimasi uchun ham dasturulamal bo‘lib 
xizmat qiladi. Biroq sifatli tizimga erishish dasturchi hamda lingvistlardan yuqori 
darajadagi saviya va mehnatni talab etadi. O‘zbek va ingliz tillari korpusi haqida gap 
borar ekan, ularning turli til oilalariga mansubligi, o‘zaro tarjima manbalarining 
tanqisligi esa parallel korpus yaratish jarayonini yana bir qadar qiyinlashtiradi. 
Shunga qaramay, mavjud manbalar asosidagi o‘zbek-ingliz tillari korpusini yaratish 
yuqori natija sari ilk qadam bo‘lib xizmat qiladi. Jahon tajribasida ham kuzatishimiz 
mumkinki, dastlabki korpuslar kichik hajmdagi, asosan ilmiy, rasmiy uslubdagi 
matnlardan tarkib topgan. Yillar davomida soha rivojlangan hamda korpuslarning 

---