Глобальный бан ботам, для владельцев ВДС/Дедик/Коло

Проблема началась еще до того, как я обзавёлся первым ВДС от МсХост. Но именно после переезда с обычного хостинга на выделенный сервер гадские боты меня стали напрягать в конец…

Накатал тему на форуме МТ, разжевав ситуацию таким образом:

Что-то в “мире” изменилось, и все кому не попадя сооружают свои “поисковики” и своих ботов.
И фиг бы с ними, да вот только не выходит у Данилы каменный цветок, ибо боты наглые и плевать им на роботсы и мета, выдача у этих, якобы, ПСов оставляет желать лучшего, или эти сервисы вообще не предосталяют никаких средств для посика информации, а являются обычными “стукачами”, при этом если при подборе ВДС год назад, учитывая все внешние факторы, достаточно было простенького сервачка, то теперь при неизменности кол-ва сайтов и контента на этих сайтах, тот же сервер чуствуе себя очень болезненно за счёт “тупорылых” (по другому их ни как назвать нельзя) ботов от якобы ПСов.

Действительно… после недельного анализа пришёл к выводу что 85% всего исходящего трафика, а следовательно и нагрузки на ВДС/Дедик/Коло несут никому не востребованные боты, и роль и цель их сканирования не несёт ни какой ясности.

Это присказка была… а теперь сказка
Итак, .htaccess является “локальной” частью httpd.conf для каждого сайта, т.е. в нём мы можем прописать запреты на обращения любого юзер-агента. Проблема в том, что на моих серверах находится в среднем по 90 сайтов, и прописывать изменения в существующие .htaccess или создавать их нет особого удовольствия.

Выслушав советы некоторых участников, принялся искать самостоятельно решение проблемы, и спустя месяц, “покурив” мануалы, нашёл таки решение проблемы!
в файле httpd.conf после записей о блокировке доступа к файлу .htaccess прописал следующее:

<Directory “/var/www/*/data/www”>
SetEnvIf User-Agent msnbot MustDie=1
SetEnvIf User-Agent Twiceler MustDie=1
SetEnvIf User-Agent Baiduspider MustDie=1
SetEnvIf User-Agent Slurp MustDie=1
SetEnvIf User-Agent Java MustDie=1
SetEnvIf User-Agent CommentReader MustDie=1
SetEnvIf User-Agent ia_archiver MustDie=1
SetEnvIf User-Agent Dolphin MustDie=1
SetEnvIf User-Agent Yeti MustDie=1
SetEnvIf User-Agent discobot MustDie=1
SetEnvIf User-Agent BTWebClient MustDie=1
SetEnvIf User-Agent Tagoobot MustDie=1
SetEnvIf User-Agent OOZBOT MustDie=1
SetEnvIf User-Agent igdeSpyder MustDie=1
SetEnvIf User-Agent ovalebot MustDie=1
SetEnvIf User-Agent libwww-perl MustDie=1
SetEnvIf User-Agent vBulletin MustDie=1
SetEnvIf User-Agent Ilium MustDie=1
SetEnvIf User-Agent RSSreader MustDie=1
Order allow,deny
Allow from all
Deny from env=MustDie
</Directory>

Если у кого-либо возникнет необходимость блочить ботов-хамов, то надеюсь этот пост вам поможет решить проблему.

Предыдущие записи

• No related posts