22. Qidiruv algoritmlarida indekslash nima?

66. Izlash tizimida lingvistik metodlarning vazifalari

Matnning ma'nosini tahlil qiladigan qidiruv modellari mavjud, masalan, latent-semantik indeksatsiya modeli (yashirin ma'noni ochib berish). Ushbu algebraik model so'zlarni hujjatlar bilan bog'laydigan to'rtburchaklar matritsaning singular qiymat dekompozitsiyasiga asoslangan. Matritsaning elementi so'z va hujjat o'rtasidagi bog'liqlik darajasini aks ettiruvchi chastotali xarakteristikadir, masalan TF*IDF.

Lingvistik deb tasniflangan algoritmlar sinfi mavjud. Statistik va lingvistik usullar o'rtasida aniq chegarani chizish qiyin. An'anaviy ravishda lingvistik metodlarga inson tomonidan yaratilgan lug'atlarga (morfologik, sintaktik, semantik) asoslangan usullar kiradi. Ko'pgina matnlarni qayta ishlash algoritmlari kamida minimal darajada lingvistik ishlov berishni talab qiladi.

Lingvistik metodlar yordamida quyidagi vazifalar hal etiladi:

• hujjat tilini avtomatik ravishda aniqlash;

• tokenizatsiya (grafik tahlil): so'zlarni ajratib ko'rsatish, jumla chegaralari;

• ma'lumotga ega bo'lmagan so'zlarni chiqarib tashlash (to'xtash so'zlari);

• lemmatizatsiya (normallashtirish, stemming): fleksion shakllarni "lug'at" ga qisqartirish. Shu jumladan, tizim lug'atiga kiritilmagan so'zlar uchun;

• ba'zi tillar uchun murakkab so'zlarni (birikmalarni) ajratish (masalan, nemis tili);

• nominal guruhlarni taqsimlash.

Tadqiqotda va amalda kamroq bo'lsa ham, so'z yaratish, sintaktik va hatto semantik tahlil algoritmlarini topish mumkin. Shu bilan birga, semantik tahlil ko'pincha biron bir statistik algoritm (LSI, asab tarmoqlari) degan ma'noni anglatadi va agar tushuntirish-kombinatorial yoki semantik lug'atlar ishlatilsa, u holda juda tor predmet sohalarida.