補足的な観察ですが、Cloudflare を使用することで Google のインデックス作成にも役立つ可能性があるという疑問が生じます。
昨日、ポジティブなインデックス作成とインプレッショントレンドに改善が見られましたが、これは偶然の一致かもしれません。
10月末にかけて大きな急増に気づきました。これらはCFのAIボットをブロック緩和機能をすり抜けているに違いありません。
CFは現在、AIラビリンス（Ai Labyrinth）の使用を推奨しています。
AI Labyrinthは、クロール標準を無視するボットを妨害するために、AI生成コンテンツを含むnofollowリンクをウェブページに追加することで、ウェブページを変更します。追加されたnofollowリンクはウェブページの内容を変更せず、ボットにのみ表示されます。
AIでAIと戦う？ 
AI軍拡競争？
「いいね！」 1
それは軍拡競争であり、スパマーの場合と同様に、いつまでもそうあり続けるだろうと私は思います。
Cloudflare（フォールアウトバンカー）を仲介役として回避する選択肢はありますか、それともそれが唯一の選択肢なのでしょうか？
すべてか無かのように見えますが、無はDDoSのように振る舞うAIトラフィックを意味します！
「いいね！」 1
この急増は本当に面倒で、最も効果的な対策は、現在トラフィックの大部分が発生しているジオゾーン以外のすべてのジオゾーンからのトラフィックを完全にジオブロックすることでした。
この急増には非常に多くのASNが関与している可能性があり、それらを選別するのは時間がかかるプロセスです。
これは、中長期的には非常に非現実的なものになります。
「いいね！」 1
私にとって最も重要なのは、メンバーであろうと閲覧者であろうと、実際の人間ユーザーの体験です。フォーラムの応答性が問題なく、追加のトラフィックで請求されたり、ログでストレージがいっぱいになったりしない限り、この望まない余分なトラフィックは実際には懸念事項ではありません。
もちろん、RAMやストレージ、CPUを追加する必要がある場合や、過剰なトラフィックに対して料金を支払う必要がある場合は、コストが上昇する可能性があります。私にとっては、まだそうなっていません。
「いいね！」 2
はい、ユーザーエクスペリエンスは最も重要であり、このトピックのまさにその点です。私たちは「ユーザー」がいるからこそ存在するのですが、開発者などがこれを見失っているのではないかと時々思いますね。
これらのAI関連のものはサーバーに多大な負荷をかけ、50xエラーが出始めます。特に検索を試みると顕著です。プラットフォームはかなりのトラフィックを処理し維持できますが、少々ぎこちなくなります。
どのような仕様を扱っているのか、またCF（Cloudflare）や他のWAF（Web Application Firewall）の背後にあるのか不思議です。
このAIの急増が、4vCPU 8Gb 160GB以上のHDのドロッパー（サーバー）にヒットし、真のユニークビジターの急増時に数十のユニークユーザーを容易に処理していたものが、AIの吸い込み動作によって本当に苦戦し始めるのを見てきました。
エントリーレベルのドロッパー、例えば2GBのドロッパーでDiscourseを実行している場合、CFのようなものの背後にない限り、プラットフォームは非常に早く軋み、崩壊し始めます。
この要因は、ホットなトピックがあった場合を除き、AI以前には発生しませんでした。その場合でもパフォーマンスに目立った違いはなく、Discourseは問題なく提供を処理していました。
CFの平均データ提供量を見ると、1か月あたり1日あたり約2GBですが、この群れがヒットしたときには、WAFルールがその攻撃を制御するまで、停止の兆候なく14GBに急増しました。
入り口の摩擦を強める必要があるということは、本当に中に入りたいユーザーだけが入れるようにするということであり、それらのユーザーを大切にする必要がありますが、それ以外の余分なオーガニックトラフィックなどは、あまり問題にならないでしょう。
前述したように、中長期的な存続可能性は深刻な問題をもたらします。
今や時間、そしてお金のどちらか、あるいは両方のリソースが必要になります。現在の姿勢以外にこれを回避する方法があるのかどうか見当もつきませんし、そうなると最終手段、つまり電源を切るしかありません。これより少ないことで閉鎖されたサイトを見てきました。
オープンインターネットは、このようなゲームを想定して構築されたわけではありませんでした。
確かに、50xエラーが発生していることがわかった場合、それは深刻な問題です。
以前はCloudflareの背後で運用していましたが、問題があれば再びそうするでしょう。私の考えでは、彼らはすべての悪意のあるトラフィックを中央で把握しており、迅速かつ中央集中的に対応できるということです。彼らは、振る舞いの悪いAIクローラーを停止するための特定のサービスを提供していると信じています。この軍拡競争において、ローカルな手法があまりうまく機能するとは思えません。
理想的な世界では必要ないかもしれませんが、メール処理のためにMailgunに少額の手数料を支払うのと同じように、この望ましくないトラフィックをブロックするために誰かに少額の手数料を支払う必要があるかもしれないと受け入れるでしょう。