В информационный поиск Introduction to Information Retrieval

Axborot qidirishga kirish

№4 ma'ruza

Leksika va so'z o'rinlari ro'yxati

Ma'ruzaning maqsadi .

O'ylab ko'ring va nima ekanligini tushunishga harakat qiling:

1. hujjatning asosiy birliklari;

2. leksemalar;

3. leksemalarning dastlabki lingvistik ishlovi.

Hujjat sxemasi

Indekslash jarayoniga kiritilgan raqamli hujjatlar odatda fayl yoki veb-serverdagi baytlar to'plamidir.

Qayta ishlashning birinchi bosqichida bu baytlar ketma-ketligi chiziqli belgilar ketma-ketligiga aylantiriladi.

Avval siz to'g'ri kodlashni aniqlashingiz kerak.

Ushbu muammoni evristik usullar yoki hujjat haqidagi mavjud metama'lumotlarga asoslangan tasniflash muammosi sifatida hal qilish mumkin.

Hujjat sxemasi

Kodlashni aniqlagandan so'ng , baytlar ketma-ketligi belgilar ketma-ketligiga aylantiriladi.

Kodlashni tanlash aniq bo'lishi kerak , chunki u hujjat yozilgan til haqida bir oz tasavvur beradi .

Keyinchalik, siz hujjat formatini belgilashingiz kerak va keyin tegishli dekoderni tanlang .

Eng keng tarqalgan formatlar Microsoft Word , zip , XML , postscript va PDF .

Hujjat sxemasi

Ushbu qism faqat ma'lumot olish uchun mo'ljallangan.

Odatda keng ko'lamli hujjat formatlari va kodlashlar bilan shug'ullanadigan tijorat dasturlari mavjud .

Yozish tizimlari bilan bog'liq ba'zi muammolar mavjud. Masalan, arab, xitoy, yapon, hind bilan.

Hujjat sxemasi

Muammolar belgilarning qat'iy tartibiga ega emasligi bilan bog'liq.

Misol uchun, arab tilida belgilar chapdan o'ngga ergashadi, lekin har doim ham emas. Kitobun (kitob) soʻzidagi soʻz belgilar tartibi quyidagicha:

un batik

Hujjatning strukturaviy birligini tanlash

Quyida biz faqat hujjatning tarkibiy bo'linmasini tanlash muammosini ko'rsatamiz.

Hozirgacha biz hujjatlarni indekslash uchun mo'ljallangan sobit birliklar deb taxmin qildik .