В информационный поиск Introduction to Information Retrieval

Qoidaga ko'ra, avval tilni tanib olish amalga oshiriladi, so'ngra matn tokenlarga bo'linadi va ma'lum bir til uchun qoidalarga muvofiq, oldindan belgilangan tafsilotlar darajasini, masalan, butun hujjat yoki paragraflar uchun normallashtiriladi.

Terminlar leksikasining ta’rifi

Biroq, agar hujjatda boshqa tillardagi qisqa iqtiboslar mavjud bo'lsa, bu yondashuv ishlamaydi.

Agar hujjatlar to'plami ko'p tilli bo'lsa, unda indeks turli tillardagi atamalarni o'z ichiga olishi mumkin. Xususan, siz avval hujjatga til klassifikatorini qo'llashingiz, so'ngra tegishli tilning leksikonidagi atamalarni belgilashingiz mumkin.

Ba'zida bu belgi e'tiborga olinmaydi, chunki turli tillardagi belgilar ketma-ketligi kamdan-kam hollarda mos keladi.

Stemming va lemmatizatsiya

tartibga solish , tartibga solish va tartibga solish kabi turli shakllari mavjud .

Bundan tashqari, shunga o'xshash ma'noga ega bo'lgan hosila so'z turkumlari mavjud, masalan, demokratiya , demokratik va demokratik .

Ko'pgina hollarda, ushbu turkumdagi boshqa so'zlarni o'z ichiga olgan hujjatlarni topish uchun ulardan birini ishlatish foydali ko'rinadi.

Oʻzak va lemmatizatsiyadan maqsad soʻz shakllari va hosila shakllarini umumiy asosiy shaklga keltirishdir.

Stemming va lemmatizatsiya

Misollarni ko'rib chiqing .

Ekvivalentlik sinflarining bevosita ta'rifi:

am , are, is => be

Ekvivalentlik sinflarining bilvosita ta'rifi:

mashina , avtomobillar, avtomobillar, avtomobillar' => avtomobil

Natijada quyidagi matn o'zgarishi sodir bo'lishi mumkin.

bolaning mashinalari turli rangda =>

har xil rangda bo'ladi

Stemming va lemmatizatsiya

Poyasi ( poyasi ) taxminiy evristik jarayon deb ataladi, bu jarayon davomida ko'p hollarda bu o'zini oqlaydi degan umidda so'zlardan oxiri olib tashlanadi.

Stemming (inglizcha o'zakdan - asos) - ma'lum bir manba so'z uchun so'zning o'zagini topish jarayoni .