Методические указания по изучению дисциплины "Мировые информационные ресурсы" для студентов специальностей «Прикладная информатика (в экономике)»

Часть документов для поисковых машин закрыта. Это информация, доступ к ко-
торой авторизован или осуществляется не по ссылке, а по запросу из формы []. В на-
стоящее время разрабатываются интеллектуальные методы сканирования скрытой 
части Интернет, но широкого распространения они пока не получили [].
Для индексирования гипертекстовых документов программы-агенты используют 
источники: гипертекстовые ссылки (href), заголовки (title), заглавия (H1, H2 и т. д.), 
аннотации, списки ключевых слов (keywords), подписи к изображениям. Для индекси-
рования нетекстовой информации (например, файлов, передаваемых по протоколу 
ftp) используются URL [].
26

---

Также используются возможности полуавтоматической или ручной индексации. 
В первом случае администраторы оставляют сообщения о своих документах, кото-
рые индексирующий агент обрабатывает спустя некоторое время, во втором, адми-
нистраторы самостоятельно вносят в базу данных ИПС необходимую информацию.
Все большее число ИПС производят полнотекстовую индексацию. В этом слу-
чае для составления поискового образа используется весь текст документа []. Фор-
матирование, ссылки и т. д. становятся в этом случае дополнительным фактором, 
влияющим на значимость того или иного термина. Термин из заголовка получит 
больший вес, чем термин из подписи к рисунку [, ].
Современные крупные ИПС должны в течение секунды обрабатывать сотни 
запросов. Поэтому любая задержка может привести к оттоку пользователей и, как 
следствие, к непопулярности системы и коммерческим неудачам. С точки зрения ар-
хитектуры, такие ИПС реализуются в виде распределенных вычислительных систем, 
состоящих из сотен компьютеров, расположенных по всему миру. Поисковые алго-
ритмы и программный код подвергаются крайне тщательной оптимизации.
В ИПС с большим объемом базы документов для ускорения их работы приме-
няются технологии эшелонирования и прюнинга. Эшелонирование заключается в