22. Qidiruv algoritmlarida indekslash nima?

30. Lemmatizatsiya nima?

Lemmatzatsiya (lemmatization) bu- so'zlarning leksikasi va morfologik tahlili yordamida aniq jarayon bo'lib, u faqat fleksion oxirlarni olib tashlaydi va lemma deb ataladigan so'zning asosiy yoki lug'at shaklini qaytaradi. Masalan, stemming paytida saw leksemasi s harfiga aylanishi mumkin, lemmatizatsiya esa leksemaning fe'l yoki ot bo'lishiga qarab see so'zini yoki saw so'zini qaytaradi. Muhim farq shundaki, odatda "birlashtiruvchi"lardan kelib chiqqan holda bir xil ildizdan olingan so'zlar, lemmatizatsiya esa faqat bitta Leymaning fleksion shakllarini "birlashtiradi". Stemming va lemmatizatsiya ko'pincha indeksatsiya jarayonida o'rnatilgan qo'shimcha dasturiy ta'minot komponentlari bilan amalga oshiriladi. Hozirda bunday ham tijorat, ham bepul tarqatiluvchi dasturlar juda ko'p.

Stemming algoritmi o'rniga lemmatizator (lemmatizer)dan foydalanishingiz mumkin, bu tabiiy tilni qayta ishlash sohasidagi vosita (natural language processing) har bir so'z lemmasini aniq aniqlash uchun to'liq morfologik tahlilni amalga oshiradi. To'liq morfologik tahlil ma'lumot olishda juda kam imkoniyatlarni keltirib chiqaradi. Biron bir aniqroq narsa aytish qiyin, chunki normallashtirish shakllarining hech biri ingliz tilida ma'lumot olishning umumiy samaradorligini oshirmaydi, hech bo'lmaganda uni sezilarli darajada oshirishga qodir emas. Lemmatizatsiya ba'zi so'rovlar uchun juda foydali bo'lishi mumkin, boshqa so'rovlar uchun bu ish faoliyatini sezilarli darajada pasaytiradi. Stemming to'liqlikni oshiradi, ammo qidiruv aniqligini pasaytiradi. Ushbu algoritmlarning kamchiliklarini namoyish etish uchun Porter algoritmi barcha so'zlarni qisqartirganiga e'tibor bering

operate operating operates operation operative operatives operational 

oper so'ziga. Operate so’zi barcha shakllarida keng tarqalgan fe'l bo'lgani uchun, Porter algoritmi yordamida quyidagi so'rovlarning aniqligi ancha kamayadi.