フォーラムの読者層は変化しています。あなたの読者の一部は、もはや従来の意味での「読者」ではありません。彼らは代理人として誰かのために読み、あなたのコンテンツを要約して、リンクをクリックしたり実際のメンバーになったりしないかもしれない人物に回答を提供しています。開発者サポートコミュニティ、カスタマーフォーラム、ファンクラブのいずれを運営していても、あなたの知識は今、AI の回答に取り込まれています。
率直な質問ですが、なぜ AI クローラーが私のサーバーを溢れさせるのを許すべきなのでしょうか？もちろん記事では最終的な選択は常に自分次第だと明確に述べられていますが、ビジネスの観点から、AI スクラッピングへの対応として Reddit の例を挙げて考えると、ここにはどのようなメリットがあるのでしょうか？
最近、Google がユーザーの履歴に基づいてパーソナライズされたページを作成するとの報道を見ました。つまり、ウェブマスターにとってはクリック数が減り、Alphabet にとっては収益が増えるということです。では、改めて言いますが、ここでの目的は何なのでしょうか？
現在、私は Wayback Machine などの検索エンジンやキャッシュインデクサーが私のコンテンツを読み取り、キャッシュすることを許可しています。しかし、私にはユーザーのコンテンツを提供して Alphabet などがそれを収益化し、コミュニティは何も恩恵を受けられないという状況以外の意味が見出せません。加えて、ブラジルでは LGPD、ヨーロッパでは GDPR といった法的な問題もあります。
興味深い記事を読んでいただき、ありがとうございます！
これは間違いなく Discourse の最も優れた機能の一つです。
他のウェブサイトでも、データだけを返す URL を探しては、それが存在しないことに気づくたびに、私はぞっとします。
このような主張については、常に情報源へのリンクを含めていただければ素晴らしいと思います。それにより、読者がデータを検証しやすくなります 
それは、フォーラムの目的によって異なります。例えば、ブランドやサポートフォーラムの場合、目標はできるだけ早く利用者に回答を提供することかもしれません。そのコンテンツがAIの学習に取り入れられれば、それは有益となる可能性があります。本当に未解決の課題であれば、人々がまだあなたのサイトに訪れて質問してくることを期待したいところですが、まずAIに頼る傾向がある場合、これは依然として課題です。
より社会的な文脈では、AIスクレイパーはほとんど無用です。なぜなら、コミュニティ内で人々が互いに交流することを望むからです。そのような場合、それらを完全にブロックしようとするのが良いケースかもしれません。
AI と SEO に携わる私の専門的な観点からは、llms.txt の影響や重要性はまだ実証されていません。最近、Google はこれを利用もサポートもしていないと発表しました。他のエージェントが利用しないという意味ではありませんが、共有すべき重要なニュアンスの一つだと考えました。
正直に言うと、私はそうしません。個人的な意見ですが、LLM が私のウェブサイトを訪問することを禁止し、今後も禁止し続けます。OpenAI や Anthropic のようなスクレイパーに、テキストであれコードであれ、私の苦労して作り上げたものを寄付する気にはなれません。
私のドメインの多くには、以下のようなファイルが置かれています：
https://pyxfluff.dev/robots.txt
https://pyxfluff.dev/llms.txt
もちろん、これはすべて個人の好みですが、もし人々がこれらの企業にウェブサイトのコンテンツを盗むことを許さなければ、この AI ブームはすぐに終わるはずです。もしかすると、人々が強く反対している最新の Google のアップデートが、サイトへのアクセスがなくなることに気づいたサイト所有者に、ようやくまともな判断をさせるかもしれません。
残念ながら、サイトのコンテンツが公にアクセス可能である場合、LLM スクレイパーを完全にブロックする確実な方法はありません。それらの多くは robots.txt を無視し、ブロックを回避するために異なるユーザーエージェントや IP アドレスを使用して、あたかも人間の訪問者のように振る舞おうとします。多くの人が自分のコンテンツがこのような方法で使用されるかどうかを選択したいと考えているようですので、何らかの法的規制が状況にガードレールを設けてくれることを願っています。
