Тилини ривожлантириш департаменти ўзбекистон республикаси олий ва ўрта махсус таълим вазирлиги

Alisher Navoiy nomidagi Toshkent 
davlat o‘zbek tili va adabiyoti 
universiteti 
“O‘ZBEK MILLIY VA TA’LIMIY 
KORPUSLARINI YARATISHNING NAZARIY 
HAMDA AMALIY MASALALARI”
Xalqaro ilmiy-amaliy konferensiya
Vol. 1
№. 01 (2021) 
48 
4-rasm. Tokenayzer interfeysi 
 
Korpus o‘zida tokenayzer dasturini qismiy dastur sifatida olgan. Bu esa foydalanuvchiga o‘zining 
matnini tokenlash imkonini beradi. Tokenayzer dasturi 4-rasmda ko‘rinib turganidek, to‘rt qismga 
ajratilgan va ular quyidagi vazifalarni ifodalaydi: 

Matn
– bu kiruvchi ma’lumot bo‘lib, maydonga foydalanuvchi o‘zining matnini joylashtiradi; 

Tugma
– bu tugmaning ustidan sichqoncha bilan bosilsa, kiritilgan matnni tokenlarga jaratadi; 

Tokenlar
– bu maydonda matndan ajratib olingan tokenlar ro‘yxati hosil bo‘ladi; 

Statistika 
– bu yerda matndagi tokenlar miqdori ko‘rsatiladi [Tursunov M.S., DOI: 
10.1109/ICISCT50599.2020.9351376, 2020]. 
Lemmatayzer 
Morfologik razmetkalashda berilgan so‘z shaklidan uning o‘zagini ko‘rsatishi mumkin bo‘lgan 
yondashuv lemmatizasiya deb ataladi. So‘z shaklini qismlarga ajratish stemming deb nomlansa, 
ajartilgan so‘z shaklining o‘zak qismi lemma deyiladi [Николаев И.С., 2016: 146]. 
Masalan:
So‘z shaklidan, so‘zning lemmasini ajratib oluvchi dastur lemmatayzer dab ataladi. 
1-rasmdagi menyular panelidan lemmatayzer bandi ustidan sichqoncha bilan bosilsa, lemmatayzer 
oynasi hosil bo‘ladi (5-rasm). 
 
 
 
 
 
 
ning
Mat
n 
Statistika 
Tugma 
Tokenlar 
Kitoblarning – kitob + lar +
So’z shakli 
Stemmin
g
Lemma

---