Indekslash saytlari. Serp sarlavha, parchalar, tezkor havolalar. Saytni indekslash

Robotlarni qanday qilib sahifalarni yopish mumkin?

 

Yuqorida biz indekslash sahifalari nima ekanligini, nima uchun kerakligini va bu jarayonni qanday tezlashtirish kerakligini bilib oldik. Endi sahifalarda ma'lumotni tekshirishdan qanday yashirish haqida va nima uchun bu haqda gaplashaylik. Odatda, PS-botlarga texnik va xizmat sahifalarini, maxfiy ma'lumotni, ishlab chiqilayotgan manbalarni, dublyajlarni va boshqalarni jamoat ko'rishi uchun skanerlash taqiqlanadi.

Ya'ni, qidirishda sifat jihatidan rivojlanish uchun siz qaysi ma'lumotlarni ko'rsatishni va qaysi ma'lumotni yashirishni bilishingiz kerak.

Botlarni skanerlashni taqiqlashning bir necha yo'li mavjud:

• robots.txt faylidan foydalaning. Hujjatda siz bitta sahifani yoki butun saytni indekslashni taqiqlashingiz mumkin. Ushbu fayl faqat PS robotlari uchun qoidalarni o'rnatadi. Taqiqlash uchun ikkita asosiy operator ishlatiladi: manzilni belgilash ( foydalanuvchi-agent ) va bot uchun "to'siq" qo'yadigan taqiqlovchi ko'rsatma ( Ruxsat berish ). Masalan, agar sayt ishga tushirishga tayyor bo'lmasa, robotga quyidagi kodni yozishingiz mumkin: User-agent : * va keyingi qatorda Disallow : /. Shunday qilib, siz PS robotlari uchun barcha manbalarni yopasiz.         

• Maxsus teglarni robots.txt faylida ro'yxatdan o'tkazing. Odatda, ushbu parametr bitta sahifani skanerdan yashirish uchun ishlatiladi. PS botlarini sahifani yoki tarkibning bir qismini tekshirishga to'sqinlik qiladigan noindex va nofollow teglaridan foydalaniladi . Masalan, ma'lum bir botni quyidagi kod bilan ishlashiga to'sqinlik qilishingiz mumkin: < meta name = " googlebot " content = " noindex , nofollow " />.