В информационный поиск Introduction to Information Retrieval

Aytaylik , har bir hujjat 1000 ga yaqin so‘zdan iborat (2-3 kitob sahifasi).

mantiqiy qidiruv

Agar so'zni saqlash uchun bo'sh joylar va tinish belgilarini o'z ichiga olgan holda o'rtacha 6 bayt ajratilgan deb hisoblasak, bunday hujjatlar to'plami taxminan 6 GB (GB ) ni oladi.

Bunday hujjatlarda M = 500 000 ga yaqin turli atamalar bo'lishi mumkin.

Endi biz atama-hujjat matritsasini sodda tarzda yarata olmaymiz. 500 K x 1 M matritsada yarim trillion nol va birlar mavjud bo'lib, ular kompyuter xotirasiga sig'ish uchun juda katta .

mantiqiy qidiruv

Biroq, insidans matritsasi juda siyrak, ya'ni. faqat oz sonli nolga teng bo'lmagan elementlarni o'z ichiga oladi. Har bir hujjat 1000 ta soʻzdan iborat boʻlganligi sababli, matritsada bir milliarddan koʻp boʻlmagan 1 boʻladi, shuning uchun kamida 99,8% katakchalarda nol boʻladi .

Xotirada faqat birliklarni saqlash ancha maqsadga muvofiqdir .

Bu g'oya axborotni izlashda birinchi muhim kontseptsiya - teskari indeks uchun asosdir.

Invert indeks yaratish uchun birinchi urinish

Invert indeksni yaratish jarayoni quyidagi bosqichlardan iborat.

1. Biz indeksatsiya qilinadigan hujjatlarni yig'amiz . Ya'ni, biz to'plamni shakllantiramiz.

tokenlar ( tokenlar ) roʻyxatiga aylantirish orqali matnni belgilang .

3 Biz dastlabki lingvistik ishlovni amalga oshiramiz , indekslangan atamalar bo'lgan normalangan leksemalar ro'yxatini tuzamiz .

lug'at va so'z pozitsiyalaridan iborat teskari indeksni yaratib, atama uchraydigan hujjatlarni indekslaymiz .

mantiqiy qidiruv

Dastlabki uchta qadam allaqachon bajarilgan deb faraz qiling va tartiblangan indekslash asosida teskari indeks yaratish jarayonini ko'rib chiqing .

Hujjatlar to'plamida har bir hujjat hujjat identifikatori ( docID ) deb ataladigan noyob seriya raqamiga ega .

mantiqiy qidiruv

Aytaylik, bizning kollektsiyamiz ikkita hujjatdan iborat: