Очиқ кодли операцион тизимларда шифрлаш ва архивлашни ташкил этиш

Определение веб-скраперов. Веб-скраперы определяются по характерным для веб-скраперов признакам.
Подозрительное количество трафика с одного IP адреса. При анализе наблюдаемый объект переходит на новую страницу сайта каждую секунду сотни раз.
Наблюдение повторяющихся задач. Основано на том что человек не будет выполнять одни и те же задачи непрерывно много раз.
Переход по ссылкам, которые не видны обычному пользователю, но содержатся в коде веб-страницы.
Способы блокировки веб-скраперов. Запретить доступ на сайт с определенного IP-адреса с которого было совершено подозрительные действия.
Запретить идентификатор пользователя, с которого потенциальный злоумышленник заходит на сайт. Надо учесть то, что при этом способе доступ к сайту осуществляется только с проверенными и авторизованными пользователями.
Способы обхода блокировок. Метод настройка работы веб-скрапера. В этом методе настраивается скорость работы веб-скрапера на оптимальную скорость обхода после нескольких пробных запусков и периодически проверяется настройки веб-скрапера, так как сам сайт может меняться со временем. Между запросами добавляется случайные программные вызовы, добавляют задержки после обхода некоторого количества страниц и регулируются количество одновременных запросов. Эти методы делают работу веб-скрапера похожей на работу человека.
Метод использования прокси-серверов и замена IP-адресов. Прокси серверы с изменением IP-адресов периодически будут менять IP-адреса. Это приводит к тому, что вероятность блокировки веб-скрапера со стороны сайта уменьшается так как создается впечатление, что несколько реальных пользователей совершают запросы к серверу из разных адресов.
Следующий метод — это изменение пользовательского адреса (User Agent). Агент пользователя — это строка, содержащая информацию о системе и браузере от которой приходит запрос на сервер. Каждый запрос, отправляемый из веб-браузера, содержит заголовок агента пользователя и в свою очередь использование одного и того же агента приводит к обнаружению веб-скрапера.
В работе было проведено исследование поведения пользователей и автоматизированных средств. Выделены характерные признаки этих программ. Также рассмотрены способы обнаружение, способы блокировки и способы обхода блокировок.