User-agent: lfc-discourse-public-crawler

貢献 バグ
1

お疲れ様です。

これはバグというよりは、AI スクレイパーと見られるものの詳細を調べるための調査です。

Cloudflare のアナリティクス ダッシュボードを見ると、リクエストの 60% が「Discourse」という名前を含むユーザーエージェントから送られてきていることがわかりました。具体的には lfc-discourse-public-crawler です。完全なユーザーエージェント文字列は lfc-discourse-public-crawler/0.1 (+public Discourse API archival crawl) となっています。このユーザーエージェントは以前に見たことがありません。

追加情報:

  • トピックの .json バージョンのみをアクセスしています。
  • シンガポールから動作しているようです。
  • IP アドレスは speedypage.com に紐づいています。
  • ブラウザ: 不明/その他。
  • OS: 不明/その他。

Discourse とは関係なさそうに見えますが、そのような名前を名乗っていることから、ご存知いただくのが良いと考えました。

「いいね！」 4
2

うーん、何にでもなり得ますが、もしかすると A basic Discourse archival tool? のフォークかもしれません。

「いいね！」 1
3

@awesomerobot さん、ありがとうございます。確かにこれがここで使用されているツールかもしれません。私はそのようなツールで何もアーカイブしていないので、他の誰かが私のコンテンツのすべてをコピーしている（またはコピーしようとしている）ようです。

これを阻止するための対策として、robots.txt でユーザーエージェントをブロックしました。また、シンガポールからのすべてのリクエストもブロックしました。7日後に再評価します。

「いいね！」 1
4

robots.txt は単なる礼儀正しい提案に過ぎません。それ自体で何かが停止するわけではありません。ただし、ユーザーエージェントがそのルールに従う場合、そのボットが極めて悪意のあるものではないことを示しています。

そのような操作は nginx レベルで行うべきでしょう :man_shrugging:

「いいね！」 2