В информационный поиск Introduction to Information Retrieval

Doc 1. Men Yuliy Tsezarni ijro etdim. Men Kapitoliyda o'ldirildim ; Brutus meni o'ldirdi.

Doc 2. Shunday qilib, Qaysar bilan bo'lsin. Olijanob Brutus

shlyapa sizga Qaysar ambitsiyali ekanligini aytdi:

Keling, jadval tuzamiz, uning birinchi ustuniga barcha shartlarni yozamiz. Dastlabki uch bosqichni ko‘rib chiqmaganimiz uchun matndagi barcha so‘zlarni normalashgan leksema deb hisoblab yozamiz.

mantiqiy qidiruv

Keyin biz birinchi belgini olamiz va to'plamning barcha matnlarini ko'rib chiqamiz. Keyingi ustunda biz ushbu token topilgan hujjatning identifikatorini yozamiz.

Shunday qilib, barcha tokenlar uchun “leksema – hujjat identifikatori” juftlarini aniqlaymiz.

Xuddi shu leksemaning juftlarini birlashtiramiz, mos ravishda ikkinchi ustunda unga mos keladigan aniqlovchilarni sanab o'tamiz. Ikkinchi ustunda olingan hujjat identifikatorlarining ro'yxati so'z pozitsiyalari ro'yxati deb ataladi.

mantiqiy qidiruv

Keyin olingan jadvalni alfavit tartibida tokenlar bo'yicha tartiblaymiz.

har bir muddat uchun hujjat chastotasini saqlash odatiy holdir .

Natijada barcha tokenlar uchun tartiblangan juftliklar to'plamining teskari indeksi deyiladi .

Hujjatdagi leksemalar to'plami va unga mos keladigan chastota yoki koordinata qiymatlari to'plami lug'at yoki leksika deb ataladi.

Jismoniy jihatdan lug'atlar operativ xotirada, so'z o'rinlari ro'yxati esa qattiq diskda (qattiq diskda) saqlanadi.

Boolean so'rovlarni boshqarish

Qanday qilib so'rovlar teskari indeks va asosiy mantiqiy qidiruv modeli bilan ishlanadi ?

Aytaylik, bizda Shekspir pyesalari to‘plamining teskari ko‘rsatkichi bor.

Brutus _ 1 → 2 → 4 → 11 → 31 → 45 → 173 → 174

Kalpurniya - 2 → 31 → 54 → 101

Oddiy kon'yunktiv so'rovni qayta ishlashni ko'rib chiqing ( oddiy kon'yunktiv so'rov)

Brutus va Kalpurniya

mantiqiy qidiruv

Brutus atamasini lug‘atdan topamiz .