Internetda axborot izlash

Qidiruv tizimning tarkibi va printsiplari
Rossiyada asosiy qidiruv tizimi Yandex, keyin Rambler.ru, Google.ru, Aport.ru, Mail.ru. Bundan tashqari, hozirda Mail.ru "Yandex" ning mexanizmi va qidiruv bazasidan foydalanmoqda.
Deyarli barcha yirik qidiruv tizimlari boshqalardan farq qiladigan o'z tuzilishiga ega. Biroq, barcha qidiruv tizimlari uchun umumiy bo'lgan asosiy komponentlarni ajratib ko'rsatish mumkin. Tuzilishdagi farqlar faqat ushbu tarkibiy qismlarning o'zaro ta'sir mexanizmlarini amalga oshirish shaklida bo'lishi mumkin.
Indekslash moduli
Indekslash moduli uchta yordamchi dasturlardan (robotlar) iborat:
O'rgimchak (o'rgimchak) - veb-sahifalarni yuklab olish uchun mo'ljallangan dastur. O'rgimchak sahifani yuklab oladi va ushbu sahifadagi barcha ichki havolalarni chiqaradi. Har bir sahifaning HTML-kodi yuklab olinadi. Robotlar sahifalarni yuklab olish uchun HTTP protokollaridan foydalanadilar. "O'rgimchak" quyidagicha ishlaydi. Robot serverga "get / path / document" so'rovini va boshqa ba'zi HTTP so'rov buyruqlarini yuboradi. Bunga javoban robot xizmat ma'lumotlari va hujjatning o'zi bo'lgan matn oqimini oladi.

• 
  Sahifa url
  
• 
  sahifa yuklab olingan sana
  
• 
  serverning javobi http sarlavhasi
  
• 
  sahifa tanasi (HTML-kod)
  

Crawler ("sayohat qiluvchi" o'rgimchak) - sahifada topilgan barcha havolalarni avtomatik ravishda ko'rib chiqadigan dastur. Sahifada mavjud bo'lgan barcha havolalarni ta'kidlaydi. Uning vazifasi - o'rgimchakning qaerga borishi kerakligini, havolalar asosida yoki oldindan belgilangan manzillar ro'yxati asosida aniqlash. Crawler, topilgan havolalardan so'ng, qidiruv tizimiga hali ham noma'lum bo'lgan yangi hujjatlarni izlaydi.
Indexer - bu o'rgimchaklar tomonidan yuklab olingan veb-sahifalarni tahlil qiladigan dastur. Indeksator sahifani tarkibiy qismlariga ajratadi va ularni o'z leksik va morfologik algoritmlari yordamida tahlil qiladi. Matn, sarlavhalar, havolalar, strukturaviy va uslubiy xususiyatlar, html-maxsus xizmat teglari va boshqalar kabi turli xil sahifa elementlari tahlil qilinadi.
Shunday qilib, indekslash moduli berilgan manbalar to'plamini havolalar orqali ko'rib chiqish, duch kelgan sahifalarni yuklab olish, olingan hujjatlarning yangi sahifalariga havolalarni chiqarish va ushbu hujjatlarni to'liq tahlil qilish imkonini beradi.