Shakllanishi

 
 
 
2.2
 
Matnni morfologik va sintaktik darajada avtomatik
tahrir qilish dasturining lingvistik moduli 
So‘zni turkumlarga bo‘lishda ikki umumiy superkategoriya mavjud: 
yopiq sinf va ochiq sinf
19
.Yopiq sinflar boshqa a’zolar bilan aloqa o‘rnatgan. 
Masalan, predloglar yopiq sinf hisoblanadi, chunki ana shu aloqalar natijasida
o‘rnatilgan, yangi predloglar kamdan-kam hollarda hosil bo‘ladi. Bundan farqli
ravishda,otlar va fe’llar ochiq sinf hisonlanadi, chunki yangi otlar va fe’llar
davomiy tarzda paydo bo‘lib boradi yoki boshqa tillardan o‘zlashtiriladi.
Dunyo tillarida to‘rtta katta ochiq guruh mavjud: otlar, fe’llar, sifatlar va
ravishlar.
So‘zlarni turkumlarga ajratish algoritmi bu so‘zlarni bir tizimga
tizilishi va ma’lum bir tartibda belgilanishidir. Ingliz tilida so‘zlarni
turkumlarga ajratishda Brown korpusi (1979) dastlabki asosiy ajratish 
19
Daniel Jurafskiy & James H. Martin.Speech and Language Processing: An introduction to natural language
processing, computational linguistics and speech recognition.

---

39 
namunasi bo‘lib, turli janrlarda yozilgan 500 dan ortiq matndan 1 million ta
so‘zlar to‘plamini o‘z ichiga oladi. Bu korpusbirinchi turkumlarga ajratishda
dastlabki tadqiqotlardan biri hisoblanadi. Unda 87 ta ajratilgan to‘plam
berilgan. Keyinchalik 45 ta ajratilgan to‘plamga ega Penn Treebank korpusi 
(Marcus, 1993), Britaniya Milliy Korpusi (British National Corpus, 1997)
kabi so‘z turkumlariga ajratishdagi to‘plamlar berilgan. Quyida 45 ta ajratilgan
to‘plamga ega Penn Treebank korpusi beriladi. 
Ba’zi turkumlarga ajratishdagi farqlar inson uchun ham, mashina uchun
ham murakkabdir. Masalan, predloglar, yordamchi so‘zlar, ravishlar katta
o‘xshashlikka ega. Masalan, 
around
so‘zi yuqorida sanalgan uchta vazifada
ham kelishi mumkin: 
1.
Mrs. Shafaer never got