User-agent: lfc-discourse-public-crawler

Добрый день!

Это скорее не ошибка, а попытка собрать больше информации о том, что выглядит как агрессивный AI-скрейпер.

В панели аналитики Cloudflare я вижу, что 60% HTTP-запросов поступают от user-agent, содержащего в названии «Discourse», в частности: lfc-discourse-public-crawler. Полный user-agent выглядит так: lfc-discourse-public-crawler/0.1 (+public Discourse API archival crawl). Я никогда раньше не встречал такого user-agent.

Дополнительная информация:

  • Запрашивает только .json-версию темы.
  • Похоже, что он работает из Сингапура.
  • IP-адрес ведет на speedypage.com.
  • Браузер: неизвестный/другой.
  • ОС: неизвестная/другая.

И не похоже, что он связан с Discourse. Но с таким названием, возможно, будет полезно, если вы тоже будете в курсе этой ситуации.

3 лайка

Хм, может быть что угодно, но, возможно, это форк A basic Discourse archival tool?

1 лайк