O‘zbekiston respublikasi axborot texnologiyalari va kommunikatsiyalarini rivojlantirish vazirligi muhammad al-xorazmiy nomidagi toshkent axborot texnologiyalari universiteti farg’ona filiali kompyuter injiniringi fakulteti

Resursni skanerlash chuqurligi va qidiruv robotlari tomonidan saytlarni ko'rib chiqish chastotasi quyidagilarga bog'liq.

• 
  Qidiruv mexanizmi algoritmlari.
  
• 
  Saytni yangilash chastotasi.
  
• 
  Sayt tuzilmalari.
  

Qidiruv indeksi

Qidiruv robotlari tomonidan to'plangan ma'lumotlar bazasi qidiruv indeksi deb ataladi. Bu baza qidiruv tizimlari tomonidan aniq qidiruv natijalarini yaratish uchun ishlatiladi.
Indeks nafaqat saytlar haqidagi ma'lumotlarni o'z ichiga oladi: qidiruv robotlari tasvirlarni, multimediali fayllarni va hujjatlarni turli elektron formatlarda (.docx, .pdf va boshqalar) taniy oladi.
Yandex tizimidagi eng faol qidiruv robotlaridan biri - bystrobot. U yangiliklar tasmalari va boshqa tez -tez yangilanib turadigan saytlarni doimiy ravishda ko'zdan kechiradi. , swiftbot tomonidan sezilmaydigan, mantiqiy emas.
Siz uni maxsus asboblar yordamida jalb qilishingiz mumkin va ular turli maqsadli saytlar uchun samarali. Saytlarning mavjudligini tekshirish, ularning individual xususiyatlarini tahlil qilish, qidiruv tizimlarida rasm va hujjatlarni indekslash uchun alohida robotlar mavjud.
Qidiruv mexanizmlari qanday ishlaydi? Internetning ajoyib jihatlaridan biri shundaki, yuz millionlab veb -resurslar bizni kutishga tayyor va ular bizga taqdim etishga tayyor. Ammo yomon tomoni shundaki, bizga kerak bo'lsa ham, bizning oldimizda ko'rinmaydigan millionlab sahifalar bor, chunki bizga shunchaki noma'lum. Internetda nimani va qaerdan topish mumkinligini qanday aniqlash mumkin? Odatda buning uchun biz qidiruv tizimlarining yordamiga murojaat qilamiz.
Internet qidiruv tizimlari - bu maxsus saytlar global tarmoq, ular odamlarga World Wide Web -da kerakli ma'lumotlarni topishga yordam berish uchun mo'ljallangan. Qidiruv mexanizmlarining o'z vazifalarini bajarishda farqlar bor, lekin umuman olganda uchta asosiy va bir xil vazifalar mavjud:
Ularning barchasi Internetda (yoki Internetning ba'zi bir sektorida) "berilgan" kalit so'zlar asosida;- barcha qidiruv tizimlari qidirayotgan so'zlarini va ularni topgan joylarini indekslaydi;- barcha qidiruv tizimlari foydalanuvchilarga indekslangan va o'z ma'lumotlar bazalariga kiritilgan veb -sahifalar asosida so'zlar yoki kalit so'z birikmalarini qidirish imkonini beradi.
Dastlabki qidiruv tizimlari bir necha yuz ming sahifagacha indekslangan va kuniga 1000-2000 so'rov olgan. Bugungi kunda, eng yaxshi qidiruv tizimlari yuz millionlab sahifalarni doimiy rejimda indekslash va indekslash bilan shug'ullanadi, kuniga o'n millionlab so'rovlarni bajaradi. Quyida biz qidiruv tizimlari qanday ishlashi va ular bizni qiziqtirgan har qanday savolga javob berishlari uchun topilgan barcha ma'lumotlarni qanday "birlashtirish" haqida gaplashamiz.