22. Qidiruv algoritmlarida indekslash nima?

31. Matnlar leksemag (bo’laklarga) qanday aylantiriladi?

Belgilar ketma-ketligini aniqlab, hujjatning tarkibiy birliklarini ajratib ko'rsatgandan so'ng, matn bo’laklarga bo'linadi. Bundan tashqari, ba'zida tinish belgilari kabi ba'zi belgilar undan bir vaqtning o'zida olib tashlanadi. Keling, bir misolni ko'rib chiqaylik.

Ushbu bo’laklar ba'zida noto'g'ri ravishda atamalar yoki so'zlar deb ataladi, lekin ba'zida leksem (bo’lak) sinfi va leksema(bo’lak) nusxasi (type/token) aniq ajratilishi kerak. Leksema (bo’lak) (token) - bu ishlov berish uchun semantik birlikka birlashtirilgan ma'lum bir hujjatdagi belgilar ketma-ketligining nusxasi. Turi (type) - bir xil belgilar ketma-ketligidan tashkil topgan barcha leksema(bo’lak)lar sinfi. Termin (term) bu axborot qidirish tizimining so'z birikmalariga kiritilgan (ehtimol normallashtirilgan) turidir. Ko'pgina indeks atamalari leksem(bo’lak)lardan butunlay farq qilishi mumkin, masalan, ierarxiyadagi semantik identifikatorlar bo'lishi mumkin, ammo amalda zamonaviy axborot qidirish tizimlarida ular hujjatdagi belgilar bilan bevosita bog'liqdir. Biroq, atamalar hujjatdagi kabi aniq belgilar emas. Ular odatda turli xil normallashtirish jarayonlariga bo'ysunadi Masalan, agar indekslangan hujjat to sleep perchance to dream iborasi bo'lsa, unda beshta belgi bor, lekin faqat to'rtta tur (chunki bu ibora to qismini ikki marta o'z ichiga oladi). Ammo, agar to qismichasi indeksga kiritilmagan bo'lsa (masalan, to'xtov so'zi kabi;), unda faqat uchta atama qoladi: sleep, perchance va dream. Matnni belgiga ajratish bilan bog'liq asosiy savol: "Matnni leksemalarga qanday qilib to'g'ri ajratish kerak?" Bizning misolimizda javob aniq: matnni bo'shliqlar bilan ajratish va tinish belgilarini tashlash kifoya. Bu boshlang'ich nuqta, ammo ingliz tilida ham juda ko'p murakkabliklar mavjud. Masalan, egalik va qisqartirishlarni hosil qilish uchun ishlatiladigan apostrofning turli shakllari bilan nima qilish kerak.

Eng oddiy strategiya harfsiz belgilar bilan bo'linishga to'g'ri keladi