Mavzu: Indekslash usuli

Map Reduce bilan Tarqalgan (bo’lib tarqatilgan) indekslashga misol

Dynamic indexing

• Hozirgacha biz hujjatlar to'plami statik deb taxmin qildik. Bu kamdan-kam yoki hech qachon o'zgarmaydigan to'plamlar uchun yaxshi (masalan, Injil yoki Shekspir). Ammo ko'pchilik to'plamlar hujjatlar qo'shilishi, o'chirilishi va yangilanishi bilan tez-tez o'zgartiriladi. Bu lug'atga yangi atamalar qo'shilishi va mavjud atamalar uchun e'lonlar ro'yxatini yangilash kerakligini anglatadi.
• Bunga erishishning eng oddiy usuli - indeksni noldan vaqti-vaqti bilan qayta tiklash. Vaqt o'tishi bilan o'zgarishlar soni kichik bo'lsa va yangi hujjatlarni qidirishni kechiktirish maqbul bo'lsa, bu yaxshi yechimdir - vayangi indeks yaratish uchun etarli resurslar mavjud bo'lsa, eskisi hali ham so'rov uchun mavjud bo'lsa.

Dynamic indexing

• Agar yangi hujjatlarni tezda kiritish talabi mavjud bo'lsa, bitta yechim ikkita indeksni saqlashdir: katta asosiy indeks va yangi hujjatlarni saqlaydigan kichik yordamchi indeks. Yordamchi indeks xotirada saqlanadi. Qidiruvlar ikkala indeks va birlashtirilgan natijalar bo'yicha amalga oshiriladi. O'chirishlar bekor qilish bit vektorida saqlanadi. Keyin qidiruv natijalarini qaytarishdan oldin o'chirilgan hujjatlarni filtrlashimiz mumkin. Hujjatlar ularni o'chirish va qayta kiritish orqali yangilanadi.
• Har safar yordamchi indeks juda katta bo'lganda, biz uni asosiy indeksga birlashtiramiz. Ushbu birlashtirish operatsiyasining narxi indeksni fayl tizimida qanday saqlashimizga bog'liq. Agar biz har bir e'lonlar ro'yxatini alohida fayl sifatida saqlasak, u holda birlashma asosiy indeksning har bir e'lonlar ro'yxatini yordamchi indeksning mos keladigan ro'yxatiga kengaytirishdan iborat. Ushbu sxemada yordamchi indeksni saqlashning sababi vaqt o'tishi bilan talab qilinadigan disklarni qidirish sonini kamaytirishdir. Har bir hujjatni alohida yangilash Mave-ni talab qiladidisk qidiruvi, bu erda Mave - to'plamdagi hujjatlar lug'atining o'rtacha hajmi. Yordamchi indeks bilan biz faqat yordamchi va asosiy indekslarni birlashtirganda diskka qo'shimcha yuk beramiz.

Logarifmik birlashma. Har bir token (termID, docID) dastlab qo'shiladiLMERGEADDTOKEN tomonidan Z0 xotira indeksi. LOGARITHMIC MERGE Z0 va indekslarni ishga tushiradi.

Etiboringiz uchun rahmat, Savollar bo’lsa marhamat