Блокировщик роботов

Модуль позволяющий блокировать неопознанных роботов, которые не читают robots.txt

Если посмотреть статистику сервера - нетрудно заметить что неопознанные роботы, не являющиеся крупными поисковиками - создают очень существенный трафик. Особенно это заметно на проектах с ресурсоемкими страницами. Вроде и посетителей не так много а сервер перегружен.

Предлагаю простое решение отфильтровать "некультурных роботов". Создается папка /blackhole/, индексация содержимого которой запрещается в robots.txt.
На сайте, например в футере, ставится незаметная ссылка на этот раздел, таким образом, чтобы посетитель сайта случайно туда не попал.

Соответственно на эту страницу будут заходить только роботы, которые игнорируют robots.txt, и индексирующие зачем то ваш сайт.
Уважающие себя поисковики так не делают, так что игнорирование таких роботов не будет ухудшать видимость сайта в поисковиках.

Для того, чтобы исключить случайную блокировку реальных посетителей - в модуле предусмотрен механизм удаления IP из черного списка путем введения капчи.

Когда на страницу /blackhole/ зайдет робот - вам на почту будет отправлено уведомление о блокировке.