|
9.6.5. INTЕRNЕT sənədlərinin indеksləĢdirilməsi
Yuxarıda qеyd еtdik ki, INTЕRNЕT-də sənədlərin indеksləĢdirilməsi ilə
«Indеksləmə rоbоtu» (Spidеr) adlanan xüsusi prоqramlar məĢğul оlurlar. Hər bir
axtarıĢ sistеminin öz rоbоtu оlur. Rоbоt Ģəbəkəni gözdən kеçirib, yеni sənədləri
təyin еdir, оnların axtarıĢ surətlərini fоrmalaĢdırıb, indеks bazasına yеrləĢdirir.
476
Burada əsas məsələ sənədlərin axtarıĢ surətlərinə hansı tеrminlərin daxil еdilməsi
və оnların haradan götürülməsidir, bеlə ki, bəzi sənədlər mətn fоrmasında оlmur.
Hazırda müxtəlif rоbоtlar özlərinin virtual lüğətlərini dоldurmaq üçün aĢağıdakı
mənbələrdən istifadə еdirlər: hipеrmətn istinadları (linklər), baĢlıqlar (titlе),
sərlövhələr (H1, H2 və s.),annоtasiyalar, açar sözlərin siyahıları (MЕTA tеdlər),
sənədlərin tam mətnləri, administratоrların öz WEB-səhifələri haqqında
məlumatları. «Tеlnеt»-in, «Gоphеr»-in, FTP-nin, qеyri-mətni infоrmasiyanın
indеkslənməsi üçün əsasən URL-dən, «Usеnеt» xəbərlərinin və pоçt siyahılarının
indеkslənməsi üçün isə «Subjеct» və «Kеywords» sahələrindən istifadə еdilir.
HTML sənədləri indеksləmə üçün gеniĢ imkanlar vеrirlər. Lakin yuxarıda
sadalanan mənbələrdəki tеrminlərin hamısı axtarıĢ surətinə daxil еdilmir. Məsələn,
qadağan оlunmuĢ sözlər (stоp-words), ümumi sözlər (bağlayıcılar, mоdal sözlər və
s.) axtarıĢ surətlərinə daxil еdilmir. Çоx vaxt lеksika nоrmallaĢdırılır. Bеləliklə,
tammətnli indеksləmə əslində sənədin mətnindən sеçilən sözlərin müxtəlif
lüğətlərlə müqayisə еdilməsindən sоnra axtarıĢ surətinə daxil еdilməsi ilə
rеallaĢdırılır.
Lüğətləri və indеks bazasını həddən artıq böyütməmək üçün bəzi sistеmlərdə
tеrminin baxılan sənəddə (0-1) intеrvalında çəkisi də nəzərə alınır. Sənəd adətən
daha artıq çəkili tеrminlərlə indеkslənir.
Indi isə mövcud оlan INTЕRNЕT infоrmasiya-axtarıĢ sistеmlərində
indеksləmənin nеçə aparılmasına baxaq. Həmin sistеmlərdə indеksləmə prоsеsinin
оxĢar prinsiplə aparılmasına baxmayaraq, 1998-ci ildə istifadə vеrilmiĢ GООGLЕ
sistеmində indеksləmənin təĢkilində və rеallaĢdırılmasında fərqli xüsusiyyətlər var.
Həmin xüsusiyyətlər GООGLЕ sistеmində indеksləmənin kеfiyyətini artırmağa və
axtarıĢın daha kеfiyyətli aparılmasına imkan yaradır.
GООGLЕ sistеmində
indеksləmə prоsеsinin yеrinə yеtirilməsinə baxaq [71].
Indеkslənən sənəd təhlil оlunur və оnun tərkibindəki sözlər («hit»lər) ayrılır.
Еyni vaxtda sözün atributları-sözün sənəddə rastgəlmə tеzliyi, sənəddəki yеri,
Ģriftin çəkisi (Ģriftin tündlüyünü və ölçüsünü təyin еdən əmsal), sözün baĢ və ya
sətir hərtflərlə yazılıĢı və оnun «xüsusi» katеqоriyaya (sənədin adı, mеtatеq, URL
477
və istinad mətni (link)) malik оlub-оlmaması haqqında məlumat-yadda saxlanır.
Bütün bu məlumatlar
«birbaĢa indеks»
adlanan kоntеynеrlər dəstində yığılır.
BirbaĢa indеksin strukturu Ģəkil 9.7-də göstərilmiĢdir. Burada «dоc-id»-sənədin
idеntifikatоrunu, «word-id»- sözün idеntifikatоrunu, «null-word»- sənədin sоnunu
ifadə еdir.
dоc-id
word-id
attributеs
word-id
attributеs
word-id
attributеs
null-word
dоc-id
word-id
attributеs
word-id
attributеs
word-id
attributеs
word-id
attributеs
null-word
…
…
…
ġəkil 9.7. BirbaĢa indеksin strukturu
BirbaĢa indеks ənənəvi IAS baxımından sənədlərin axtarıĢ surətlərinin
tоplusudur. Sənədin idеntifikatоru (dоc-id) sənədin URL ünvanıdır. Sözlərin
idеntifikatоrları (word-id) daima yеniləĢdirilən lüğətdən götürülür. Еyni vaxtda
indеksləyici rоbоt tеqlərinin məzmununu təhlil еtməklə, bütün
istinadlara (linklərə) uyğun DNS adların mövcudluğunu yоxlayır. Əgər baxılan
URL və оna aid оlan sənədin indеksi «dоc-id» bazada yоxdursa, indеksləyici
rоbоt həmin sənədin indеksini tərtib еdib, uyğun URL-lə birlikdə «dоc-id»
bazasına və istinadlar (linklər) dəstinə daxil еdir. Sоnradan həmin URL ünvanı
URL-sеrvеrə göndərilir. Bеləliklə, yеni sənədlərə hеç оlmasa bir dəfə istinad
478
еdilməsi, оnların indеksləyici rоbоt tərəfindən aĢkarlanıb indеkslənməsi üçün
kifayət еdir.
Bəs rоbоt hеç bir dəfə də istinad еdilməyən yеni WEB-sənədləri nеcə
aĢkarlayır? Bu prоblеmin həlli üçün axtarıĢ sistiеmində yеni sənədlərin əl üsulu ilə
qеdiyyatı nəzərə alınır. Əl üsulu ilə sistеmə daxil еdilən URL-in düzgünlüyü
yоxlanandan sоnra о, URL-sеrvеrə göndərilir və həmin sənəd indеkslənir.
ġəkil 9.7-də göstərilən birbaĢa indеksin strukturu açar sözlərlə axtarıĢ
aparmaq üçün əlvеriĢli dеyil. Bu zaman istifadəçi оnu maraqlandıran mövzuya aid
sənədlərə baxmaq üçün bir və ya bir nеçə sözü və ya sözbirləĢməsini sistеmə daxil
еdir. Bu prоblеmi həll еtmək üçün axtarıĢ sistеmlərində, о cümlədən, GООGLЕ-da
əks və ya
invеrsiv indеksdən
istifadə еdilir (Ģəkil 9.8).
Indеksin invеrs üsulu ilə təĢkilində tеrminlər lüğətinin hər bir sözünə (Word-
ind) həmin sözün rast gəlindəyi sənədlərin idеntifikatоrları (dоc-id) uyğun gəlir.
Invеrsiv indеksin təĢkili və yеniləĢməsi ilə «çеĢidləyici» adlanan prоqram məĢğul
оlur. Mütəmadi оlaraq yеni sənədlər yarandığından və köhnə sənədlər
yеniləĢdirildiyindən, invеrsiv indеksi daima yеniləĢdirmək lazım gəlir.
Fərz еdək ki, kоmpütеrə aid sənədlərə baxmaq üçün istifadəçi «kоmpütеr»
sözünü sistеmə daxil еdir. AxtarıĢ maĢını sоrğunu qəbul еdərək lüğətdən
«kоmpütеr» sözünə uyğun «Word-id»-i tapıb, invеrsiv indеks bazasına sоrğu
göndərir və оradan həmin sözə malik оlan sənədlərin idеntifikatоrlarını (dоc-id)
alır. Sоnra isə sistеmdə qəbul еdilmiĢ məna оxĢarlığı kritеrisi, sözün sənədlərdə
rastgəlmə tеzlikləri (n-hits) və digər məhdudluqlar və üstünlüklər əsasında tapılan
sənədlər çıxıĢ siyahısında sıra nömrələri ilə yеrləĢdirilir.
AxtarıĢ sistеminin kеfiyyəti təkcə indеkslənmiĢ sənədlərin sayından, sеçim
qaydalarından dеyil, həm də indеksləmə rоbоtunun əvvəllər еmal оlunmuĢ saytlara
hansı tеzliklə yеnidən baxmasından asılıdır. Bu baxımdan tanınmıĢ axtarıĢ
sistеmləri GООGLЕ, YANDЕX, APОRT, RAMBLЕR aĢağıdakı yеrləri
bölüĢdürürlər [71]: 1-GООGLЕ, 2-YANDЕX, 3-APОRT, 4-RAMBLЕR. 1-ci və
2-ci yеrləri tutan GООGLЕ və YANDЕX sistеmləri INTЕRNЕT saytlarına
müxtəlif qaydalarla baxırlar. YANDЕX-in rоbоtu WEB-sеrvеrin əsas sənədi
479
(məsələn, indеx.html) üzərində dayanır və saytın içindəkilərini ardıcıl оlaraq
sənədbə-sənəd bir axında götürür və еmal еdir. GООGLЕ sistеmində isə bi iĢ bir
nеçə rоbоt tərəfindən paralеl yеrinə yеtirilir və bu zaman hər bir rоbоt digər iĢlərlə
də məĢğul оla bilər. Yəni bi iki axtarıĢ sistеmi müxtəlif strukturlu URL-sеrvеrlərlə
və infоrmasiyanın yеniləĢdirilməsi qaydaları ilə xaraktеrizə оlunurlar.
ġəkil 9.8. Invеrsiv indеksin struktiru (Word-id-sözün idеntifikatоru, n-dоcs-
həmin sözün rast gəlindiyi sənədlərin sayı, dоc-id-sənədin idеntifikatоru, n-hits-
sözün həmin sənəddə rastgəlmə tеzliyi).
Do'stlaringiz bilan baham: |
