В информационный поиск Introduction to Information Retrieval

Belgilar ketma-ketligini segmentatsiyasining noaniqligi tufayli , bu usullarning barchasi ba'zan xatolarni keltirib chiqaradi va shuning uchun izchil va bir ma'noli tokenizatsiyani kafolatlay olmaydi.

Terminlar leksikasining ta’rifi

Patent WEISSMAN Adam J. (AQSh )

Terminlar leksikasining ta’rifi

2018-03-22 _ Umumiy atamalarga e'tibor bermaslik : so'zlarni to'xtatish.

Ba'zan foydalanuvchilarning axborot ehtiyojlarini qondirish uchun qimmatli bo'lmagan ba'zi juda keng tarqalgan so'zlar, odatda, leksikondan chiqarib tashlanadi.

Ular to'xtash so'zlari ( to'xtash so'zlari ) deb ataladi.

Terminlar leksikasining ta’rifi

uchun atamalar to'plamdagi chastotalar bo'yicha tartiblanadi (bu Hujjatlar to'plamidagi atamalarning umumiy soniga teng ).

Keyin indekslangan hujjatlarning mavzu sohasi bilan semantik munosabati asosida qo'lda filtrlangan eng tez-tez uchraydigan atamalar to'xtash ro'yxatiga kiritiladi , ularning elementlari indeksatsiya paytida o'chiriladi.

Terminlar leksikasining ta’rifi

Stopword ro'yxati misoli :

a , an , va , bor, kabi, da, bo'lmoq, tomonidan, uchun, dan, bor, u, ichida, bu, bu, uning, dan, kuni, bu, bu, uchun, edi, edi, iroda, bilan.

veb- qidiruv tizimlarida tez - tez ishlatilmaydi .

Terminlar leksikasining ta’rifi

3. Normallashtirish.

Tokenni normallashtirish ( token normallashtirish - ekvivalent ma'noga ega bo'lgan belgilar ketma- ketligi orasidagi ahamiyatsiz farqlarni bartaraf etish uchun leksemalarni kanonik shaklga o'tkazish jarayoni .

Normallashtirishning eng keng tarqalgan usuli - ekvivalentlik sinflarini aniqlash ( ekvivalentlik sinflar ), odatda a'zolaridan birining nomi bilan atalgan .

Normallashtirish - leksemalarni tenglik sinflariga ajratish.

Terminlar leksikasining ta’rifi

Ekvivalentlik sinfiga misol.

So'zlar be/ is/ are/ edi/am be nomli ekvivalentlik sinfini hosil qiladi .