Если вы используете VPS или у вас стоит Nginx (Apache тоже работает, но с Nginx проще ;)), то блокировка ботов перед Discourse становится значительно проще. Интерфейс Discourse… не очень удобен, потому что вокруг множество ботов. Файл robots.txt почти бесполезен, поскольку его игнорируют многие, даже Google.
Проблема не в том, что сканеры пытаются добраться до вашего Discourse. Всё остальное, что они ищут, — это:
- Сотни «скрипт-кидди» проверяют, есть ли у вас WordPress, и ищут уязвимости, в основном старые, но всё ещё опасные;
- SEO-скрейперы и другие пауки пытаются проанализировать ваш контент, в основном чтобы заработать на нём;
- плюс, конечно же, поисковые системы.
Само по себе это не наносит прямого вреда, как взлом, но обслуживание этих запросов обходится в чистые деньги.
Проблема в том, что ваш сервер должен отвечать на все эти запросы. Очень скоро основная нагрузка будет приходиться на ботов, а не на реальных пользователей. Это совершенно нормальная ситуация, когда на одного реального пользователя приходится от 50 до 500 ботов.
И вы будете платить за всё это.
У меня нет глобальной аудитории, поскольку мои сайты, включая Discourse, полностью на финском языке. Поэтому у меня есть один мощный инструмент, но его можно использовать только на VPS — геоблокировка.
Мне очень жаль наших друзей из России, Китая, Индии, Пакистана, Ирана, Ирака и Вьетнама, но после того как я заблокировал эти страны, нагрузка от ботов снизилась примерно на 90 %.
Борьба с ботами — это бесконечная битва. И инструменты Discourse, когда форум не приватный, очень ограничены. Но, конечно, лучше, чем ничего.
Не поймите меня неправильно. Я не утверждаю, что приложение должно выполнять задачи сервера. Я просто хочу сказать, что на Discourse полагаться нельзя.