O‘zbekiston respublikasi axborot texnologiyalari va kommunikatsiyalarini rivojlantirish vazirligi muhammad al-xorazmiy nomidagi toshkent axborot texnologiyalari universiteti farg’ona filiali kompyuter injiniringi fakulteti

Qanday qilib robotga vazifa berish va unga biror narsa qilishni taqiqlash kerak?

Eng boshida biz qidiruv tizimlarida turli vazifalarni bajaradigan bir nechta robotlar mavjudligini bilib oldik. Kimdir rasmlarni qidiradi, kimdir havolalarni qidiradi va hokazo.
Siz har qanday robotni boshqarishingiz mumkin maxsus fayl robots.txt ... Aynan shu fayldan robot sayt bilan tanishishni boshlaydi. Ushbu faylda siz robot saytni indekslashi mumkinligini va agar shunday bo'lsa, qaysi bo'limlarni belgilashingiz mumkin. Ushbu ko'rsatmalarning barchasi bitta yoki barcha robotlar uchun yaratilishi mumkin.
Aytganimdek, har bir robotning o'ziga xos nomi bor va shuning uchun har biri o'ziga xos vazifani bajaradi, yoki aytaylik, o'z maqsadini bajaradi.
Keling, ular qanday funktsiyalarni bajarishini ko'rib chiqaylik:

• 
  Saytga kirish uchun ariza;
  
• 
  Sahifalarni qayta ishlash va olish uchun so'rov;
  
• 
  Kontentni tahlil qilish so'rovi;
  
• 
  Havolalarni qidirish;
  
• 
  Yangilanishlarni kuzatish;
  
• 
  RSS ma'lumotlariga so'rov (kontent yig'ish);
  
• 
  Indekslash.
  

Masalan, Yandex -da quyidagi ma'lumotlarni alohida indekslaydigan, tahlil qiladigan va to'playdigan bir nechta robotlar mavjud:

• 
  Video;
  
• 
  Rasmlar;
  
• 
  Sayt oynasi;
  
• 
  Xml fayllari;
  
• 
  Robots.txt fayli;
  
• 
  Izohlar;
  

Umuman olganda, qidiruv roboti faqat kerakli ma'lumotlarni yig'ib, Internet -resurslarga tashrif buyuradi va uni qidiruv tizimining indeksatoriga o'tkazadi.
Qabul qilingan ma'lumotlarni qayta ishlaydigan va qidiruv tizimining indeksini to'g'ri tuzadigan qidiruv tizimining indeksatori. Men hatto aytardimki, robot faqat ma'lumot to'playdigan "kurer" dir.

Robotlar o'zini qanday tutishi va ularni qanday boshqarishi
Robotlarning xatti -harakatlaridagi farqlar oddiy foydalanuvchi saytda quyidagicha:
1. Birinchidan, bu nazorat qilish bilan bog'liq. Birinchidan, robot sizning hosting () dan robots.txt faylini so'raydi, unda nima indekslanishi mumkin va nima bo'lmasligi ko'rsatilgan.
2. Robotning o'ziga xos farqi uning tezligida. Ikki bilan bog'liq bo'lgan har bir so'rov o'rtasida turli hujjatlar, ularning tezligi soniyalar, hatto soniyalarning kasrlari.
Hatto buning uchun robots.txt faylida ko'rsatilishi mumkin bo'lgan maxsus qoida mavjud, shunda robot qidiruv tizimlari so'rovlarga cheklov qo'ying va shu bilan blogdagi yukni kamaytiring.
3. Bundan tashqari, men ularning oldindan aytib bo'lmaydiganligini ta'kidlamoqchiman. Robot sizning blogingizga kirganda, uning harakatlarini kuzatib bo'lmaydi, qaerdan kelganini bilish mumkin emas va hokazo. U o'z printsipi bo'yicha ishlaydi va indekslash navbatini tuzish tartibida.
4. Va yana bir lahzada, bu robot, birinchi navbatda, gipermatn va matnli hujjatlar va tegishli fayllarda emas CSS uslubi va h.k.
Sizning blog sahifangiz qidiruv tizimining o'rgimchaklari oldida qanday ko'rinishini ko'rishni xohlaysizmi? Brauzeringizda Flash, tasvirlar va uslublarning ko'rsatilishini o'chirib qo'ying.
Har qanday qidiruv roboti indeksga kiradi, faqat sahifaning HTML kodi, rasmsiz va boshqa tarkibsiz.
Endi ularni qanday boshqarish haqida gapirish vaqti keldi. Yuqorida aytganimdek, siz robotlarni boshqarishingiz mumkin maxsus fayl robots.txt, bu erda biz sizning blogingizda ularning xatti -harakatlarini nazorat qilishimiz kerak bo'lgan ko'rsatmalar va istisnolarni yozishingiz mumkin.
Do'stlar, sizni yana tabriklayman! Endi biz qidiruv robotlari nima ekanligini tahlil qilamiz va google qidiruv robotlari va ular bilan qanday do'st bo'lish haqida batafsil gaplashamiz.
Avval siz qidiruv robotlari nima ekanligini tushunishingiz kerak, ular o'rgimchak deb ham ataladi. Qidiruv tizimi o'rgimchaklari qanday ish bilan shug'ullanishadi?
Bu saytlarni tekshiradigan dasturlar. Ular sizning blogingizdagi barcha xabarlar va sahifalarga qaraydilar, ma'lumot to'playdilar, keyin ular ishlayotgan qidiruv tizimining bazasiga o'tkazadilar.
Qidiruv robotlarining to'liq ro'yxatini bilishning hojati yo'q, eng muhimi, Google hozirda "panda" va "pingvin" deb nomlangan ikkita asosiy o'rgimchakka ega ekanligini bilishdir. Ular past sifatli kontent va keraksiz havolalar bilan kurashadi va siz ularning hujumlaridan qanday himoyalanishni bilishingiz kerak.
Google qidiruv roboti "panda" faqat yuqori sifatli materiallarni qidirish uchun yaratilgan. Qidiruv natijalarida past sifatli tarkibga ega bo'lgan barcha saytlar past darajaga tushiriladi.
Birinchi marta bu o'rgimchak 2011 yilda paydo bo'lgan. Har qanday saytni paydo bo'lishidan oldin maqolalarda katta hajmdagi matnni nashr etish va katta miqdordagi kalit so'zlarni ishlatish orqali targ'ib qilish mumkin edi. Birgalikda, bu ikkita usul yuqori sifatli tarkibni qidiruv natijalarining yuqori qismiga olib chiqmadi, lekin yaxshi saytlar qidiruv natijalarida tushib ketdi.
"Panda" darhol hamma saytlarni tekshirib, hamma narsani o'z joyiga qo'ydi. Garchi u past sifatli kontentga qarshi kurashsa-da, hozirda hatto kichik saytlarni ham yuqori sifatli maqolalar bilan targ'ib qilish mumkin. Garchi ilgari bunday saytlarni targ'ib qilish befoyda bo'lsa -da, ular katta miqdordagi kontentga ega gigantlar bilan raqobatlasha olmasdi.
Google qidiruv roboti ushbu qidiruv tizimida abituriyentlar uchun faqat yuqori sifatli materiallarni taqdim etishga intiladi. Agar sizda ma'lumoti kam bo'lgan va tashqi ko'rinishi jozibali bo'lmagan maqolalaringiz bo'lsa, "panda" sizga tushmasligi uchun bu matnlarni zudlik bilan qayta yozing. Yuqori sifatli kontent ham katta, ham kichik bo'lishi mumkin, lekin agar o'rgimchak ko'p ma'lumotga ega bo'lgan uzun maqolani ko'rsa, u o'quvchiga ko'proq foyda keltiradi.
Keyin takrorlash yoki boshqacha qilib aytganda, plagiatni ta'kidlash kerak. Agar siz o'z blogingizda boshqa odamlarning maqolalarini qayta yozaman deb o'ylasangiz, darhol saytingizga nuqta qo'yishingiz mumkin. Nusxa olish filtr o'rnatilishi bilan qattiq jazolanadi plagiat tekshiriladi juda oson, men mavzu bo'yicha maqola yozdim matnlarning o'ziga xosligini qanday tekshirish mumkin.
E'tibor qilish kerak bo'lgan keyingi narsa - bu kalit so'zlar bilan matnning haddan tashqari to'yinganligi. Kimki ba'zi kalitlardan maqola yozib, qidiruv natijalarida birinchi o'rinni egallaydi deb o'ylasa, juda adashadi. Menda sahifalarning aloqadorligini qanday tekshirish kerakligi haqida maqola bor, uni albatta o'qing.
Va sizga "panda" ni jalb qila oladigan yana bir narsa - axloqiy jihatdan eskirgan va saytga trafik keltirmaydigan eski maqolalar. Ular yangilanishi kerak.
Google qidiruv robotining "pingvin" ham bor. Bu o'rgimchak saytingizdagi spam va keraksiz havolalarga qarshi kurashadi. Shuningdek, u boshqa manbalardan sotib olingan havolalarni hisoblab chiqadi. Shuning uchun, ushbu qidiruv robotidan qo'rqmaslik uchun siz havolalarni sotib olish bilan shug'ullanmasligingiz kerak, lekin odamlar sizga bog'lanishlari uchun yuqori sifatli kontentni nashr etishingiz kerak.

• 
  Sifatli kontent yaratish uchun, maqola yozishdan oldin, avvalo, izlaning. Keyin odamlar bu mavzuga chindan ham qiziqishayotganini tushunishingiz kerak.
  

• 
  Foydalanish aniq misollar va rasmlar, bu maqolani jonli va qiziqarli qiladi. O'qishni osonlashtirish uchun matnni kichik paragraflarga bo'ling, masalan, siz gazetada hazillar bilan sahifa ochsangiz, qaysi birini birinchi o'qiysiz? Tabiiyki, har bir kishi birinchi navbatda qisqa matnlarni, so'ngra uzunroq va oxirgi, lekin hech bo'lmaganda uzun oyoq kiyimlarini o'qiydi.
  

• 
  Pandaning eng sevimli so'zlari eskirgan ma'lumotni o'z ichiga olgan maqolaning dolzarbligi emas. Yangilanishlarni kuzatib boring va matnlarni o'zgartiring.
  

• 
  Kalit so'zlarning zichligini kuzatib boring, men yozgan bu zichlikni qanday aniqlash mumkin, men sizga aytgan xizmatda siz kerakli miqdordagi kalitlarni olasiz.
  

• 
  Plagiat qilmang, hamma biladi, siz boshqalarning narsalarini yoki matnlarini o'g'irlay olmaysiz - bu xuddi shu narsa. Filtr ostiga tushib, siz o'g'irlik uchun javobgar bo'lasiz.
  

• 
  Kamida ikki ming so'zdan iborat matnlarni yozing, shunda bunday maqola qidiruv robotlari nazaridan ma'lumotli bo'lib ko'rinadi.
  

• 
  Blogingiz mavzusining yuqori qismida turing. Agar siz Internetda pul ishlash bo'yicha blog yuritadigan bo'lsangiz, u holda pnevmatik qurol haqida maqolalar chop etishingiz shart emas. Bu sizning resursingiz reytingini pasaytirishi mumkin.
  

• 
  Maqolalarni chiroyli tarzda tuzing, ularni paragraflarga bo'ling va rasmlarni qo'shing, shunda o'qish yoqimli va saytni tezda tark etishni xohlamaysiz.
  

• 
  Havolalarni sotib olayotganda, ularni odamlar o'qadigan eng qiziqarli va foydali maqolalarga aylantiring.
  

Xo'sh, endi siz qidiruv robotlarining qanday ishlarini bilasiz va ular bilan do'st bo'lishingiz mumkin. Va eng muhimi, Google qidiruv robotini va "panda" va "pingvin" ni siz batafsil o'rgangansiz.
Uning vazifasi - Internetdagi saytlar sahifalarining mazmunini sinchkovlik bilan tahlil qilish va tahlil natijalarini qidiruv tizimiga yuborish.
Qidiruv roboti bir muncha vaqt yangi sahifalarni ko'zdan kechiradi, lekin kelajakda ular indekslanadi va qidiruv tizimidan hech qanday sanktsiyalar bo'lmasa, qidiruv natijalarida ko'rsatilishi mumkin.

Ishlash printsipi

Qidiruv robotlari oddiy brauzer bilan bir xil printsipda ishlaydi. U yoki bu saytga tashrif buyurib, ular o'z sahifalarining bir qismini yoki barcha sahifalarini istisnosiz chetlab o'tishadi. Ular sayt haqidagi olingan ma'lumotlarni qidiruv indeksiga yuboradilar. Bu ma'lumot ma'lum bir so'rovga mos keladigan qidiruv natijalarida paydo bo'ladi.
Qidiruv robotlari sahifalarning faqat bir qismiga tashrif buyurishi mumkinligi sababli, katta saytlarni indeksatsiya qilishda muammolar bo'lishi mumkin. Xuddi shu muammo sifatsizligi tufayli paydo bo'lishi mumkin.
Uning ishidagi uzilishlar ba'zi sahifalarni tahlil qilib bo'lmaydigan qilib qo'yadi. Muhim rol qidiruv robotlari tomonidan saytni baholashda to'g'ri tuzilgan va yaxshi tuzilgan robots.txt fayli o'ynaydi.