Это скорее не ошибка, а попытка собрать больше информации о том, что выглядит как агрессивный AI-скрейпер.
В панели аналитики Cloudflare я вижу, что 60% HTTP-запросов поступают от user-agent, содержащего в названии «Discourse», в частности: lfc-discourse-public-crawler. Полный user-agent выглядит так: lfc-discourse-public-crawler/0.1 (+public Discourse API archival crawl). Я никогда раньше не встречал такого user-agent.
Дополнительная информация:
Запрашивает только .json-версию темы.
Похоже, что он работает из Сингапура.
IP-адрес ведет на speedypage.com.
Браузер: неизвестный/другой.
ОС: неизвестная/другая.
И не похоже, что он связан с Discourse. Но с таким названием, возможно, будет полезно, если вы тоже будете в курсе этой ситуации.
Спасибо, @awesomerobot. Действительно, это может быть инструмент, используемый в данном случае. Поскольку я сам не архивирую контент с помощью подобных средств, похоже, кто-то другой пытается (или уже пытается) скопировать все мои материалы.
Чтобы попытаться это остановить, я заблокировал пользовательский агент через robots.txt. Также я заблокировал все запросы из Сингапура. Пересмотрю это решение через семь дней.
robots.txt — это лишь вежливая рекомендация. Сама по себе она ничего не блокирует. Но если пользовательский агент соблюдает эти правила, это говорит о том, что бот не является крайне вредоносным.
