В информационный поиск Introduction to Information Retrieval

Hujjat matni va matn so'rovlari uchun so'rovlarni tokenizatsiya qilish va hujjatlarni indekslash ekvivalentlik sinfiga ko'ra bir xil.

Hujjatni indekslash va be/ is/ are/ so'ziga so'rovni qayta ishlashda was/ am ga aylantiriladi .

Terminlar leksikasining ta’rifi

Ekvivalentlik sinfini qanday yaratish mumkin?

Ekvivalentlik sinflarini bevosita yaratish tilshunoslik sohasida chuqur bilim talab qiladi.

Tilshunoslikda amalda qoʻllaniladigan rasmiylashtirilgan qoliplar yoʻqligi sababli bu jarayonni avtomatlashtirish hozir qiyin.

Shuning uchun, ekvivalentlik sinflari asosida normallashtirish shaxsning (mutaxassis) majburiy ishtirokini talab qiladi.

Terminlar leksikasining ta’rifi

Ekvivalentlik sinflarini yaratishning yana bir usuli leksemalarni atamalarga aylantirish qoidalarini ishlab chiqishdir. Bunday holda, sinflar bilvosita yaratiladi.

Konvertatsiya qilish qoidalari.

1. Diakritik belgilarni olib tashlash.

Diakritik yozuvning muhim qismi bo'lib, turli tovushlarni farqlash imkonini beradi . va turli xil so'zlar.

Masalan, ispan tilida pẽna so'zi jarlik va pena so'zini anglatadi qayg'u degan ma'noni anglatadi .

Terminlar leksikasining ta’rifi

Deyarli har doim foydalanuvchilar o'z so'rovlarini diakritik belgilarga e'tibor bermay, yozishni tezlashtirish yoki dangasalik yoki dasturiy ta'minot cheklovlari tufayli yoki ko'pgina kompyuter tizimlarida faqat ASCII belgilari mavjud bo'lgan paytda paydo bo'lgan odatiy holdan tashqari kiritadilar.

Bunday hollarda, eng yaxshi yechim barcha so'zlarni diakritiksiz shaklga ekvivalent qilishdir.

Terminlar leksikasining ta’rifi

Katta harflar/katta harflar bilan ishlash.

Qoidaga ko'ra, qidiruv tizimlari harflarning holatiga e'tibor bermaydilar (katta -katlama ), masalan, barcha harflar kichik harflarga aylantiriladi.

ko'pincha yaxshi fikr bo'lib, tegishli jumlalarni boshlaydigan barcha Avtomobil so'zlari avtomobil so'roviga mos kelishiga imkon beradi .