-
Краулеры приходят с намерением проиндексировать ваш сайт в поисковых системах, поэтому рост трафика от них должен быть минимальным, если только это не боты, маскирующиеся под краулеров. Многие форумы не хотят, чтобы их индексировали краулеры, и вот как это сделать: краулеры имеют идентификатор/ссылку на свой источник, поэтому здесь вы можете добавить любое имя, которое позволит краулингу только этому источнику (ха-ха, какое странное слово
) -
Наиболее вероятная причина роста вашего трафика — это боты, и вам следует проверить логи вашего сервера. Если вы знаете кого-то, кто хоть немного разбирается в Linux, я рекомендую этот инструмент настройки за 2 минуты для блокировки стран с плохой репутацией ботов (вы легко найдете его в интернете). После настройки всё равно стоит предупредить ваше сообщество, что им может понадобиться VPN для доступа к вашему сайту, если они окажутся в отпуске в этих странах. Вот этот инструмент: он эффективен и сократит на 80–90% ненужные запросы к вашему серверу. У вас есть два режима, и нужно выбрать один: разрешённые страны или запрещённые страны.
GitHub - friendly-bits/geoip-shell: User-friendly and versatile geoblocker for Linux · GitHub
-
Также можно использовать Geo Blocking plugin, но он блокирует только просмотр страниц, а не прямые запросы к вашему серверу, как это делает инструмент выше.
