お疲れ様です。
これはバグというよりは、AI スクレイパーと見られるものの詳細を調べるための調査です。
Cloudflare のアナリティクス ダッシュボードを見ると、リクエストの 60% が「Discourse」という名前を含むユーザーエージェントから送られてきていることがわかりました。具体的には lfc-discourse-public-crawler です。完全なユーザーエージェント文字列は lfc-discourse-public-crawler/0.1 (+public Discourse API archival crawl) となっています。このユーザーエージェントは以前に見たことがありません。
追加情報:
- トピックの
.jsonバージョンのみをアクセスしています。 - シンガポールから動作しているようです。
- IP アドレスは
speedypage.comに紐づいています。 - ブラウザ: 不明/その他。
- OS: 不明/その他。
Discourse とは関係なさそうに見えますが、そのような名前を名乗っていることから、ご存知いただくのが良いと考えました。