AI引用 - DiscourseはAIボットのクロールを許可していますか?

ahrefs のフォーラムで「AI Citations」に関するレポートを見ていたところ、以下の記述を見つけました。

設定を確認したところ、以下の項目が見つかりました。

この件について経験のある方はいらっしゃいますか? ボットのスロットリングは、フォーラムがまったくインデックスされないことを意味しますか? スロットリングを解除した経験があり、リソースや AI Citations への影響について話せる方はいらっしゃいますか? よろしくお願いします。

いいえ、そういう意味ではありません。スロットリングは、それがどのように行われたかによりますが、停止します。robots.txtは無力なので、ボットはミニDDoS攻撃のように振る舞うことができます。

AI引用が得られない3つの理由があります。

  • 同じ情報がより人気のある場所で見つかる
  • あなたのフォーラムURLへの引用につながるようなことを誰も尋ねていない
  • Ahrefsが間違っている

Ahrefsは、そもそもそのボットを禁止すべき企業の一つです。それが、「Ahrefsが間違っている」という仮定がその3つのうちの1つである理由の一つです。

そして、私の知る限り、Discourse ではデフォルトでブロックされています:

ですから、ahrefs のレポートはおそらく信頼できません。
データが取得できなかったことを伝えず、代わりに誤って「0」と報告することを選択した理由…それは彼らにとっての疑問です。

ボットのブロックを解除することはできますが、時折発生するミニ DDoS、ページビューの増加、サーバー負荷の増加に備えてください。

ahrefs ボットがフォーラムをインデックス作成する必要はありません。Google で見ているものを報告するだけだからです。

もしそうなら、それは非常に珍しいことです。なぜなら、私たちのフォーラムは年間数百万回のヒットがあるからです。だからこそ、アクティブなAIボットのブロックについて疑問に思っています。あるいは、フレームワークがJSレンダリングなど、AIスクレイパーにとって技術的に好ましくないということはありませんか。

ボットにフォーラムを実際に引用させることはできますか?

もしできるなら、問題はahrefsです。これが私の推測であり、AI Citations機能は比較的新しく、まだ機能しない可能性があります。

もしできないなら、他に何か問題があるかもしれません。その場合は、他のいくつかのDiscourseフォーラムを試してみてください。それらが表示されるなら、問題はフレームワークではなく、あなたのサイト固有の問題です。

参考までに、Metaに関する例のクエリに対してChatGPTが返す結果は次のとおりです。

そうではありません。そして、それはそれほど多くありません。Googleからの検索ヒットを意味するのであれば、私は年間350万回でした。ユーザー訪問を意味するのであれば、それもそれほど多くありません。ボット訪問を意味するのであれば、さらに少ないです。さらに、ヒットはAIがあなたのフォーラムが引用元として確実に使用されていると判断するものではありません。どのようなコンテンツがあるかによります。

しかし、それはここで尋ねることができるものではありません。Ahrefsだけが、どのようにメトリックをカウントしているかを知っています。

さらに、AhrefsはGoogle経由でAIが何回引用したかを知ることはできません。

では、350万ドルも「それほど多くない」と言っているのですか、それとも200万から350万の間で数字が重要になるのですか?(笑)

ちなみにGoogleからのユニークビジターです。そして、訪問者がはるかに少ない他のサイトはAI Answersでいっぱいですが、ahrefsもそれを報告しています(どれだけ正確かは誰にもわかりません)。より大きなサイトで引用がすべてゼロであるのに、より少ないサイトで引用がずっと多いのは奇妙です。

とにかく、このトピックについて直接知っているDiscourseのウェブマスターから話を聞きたいと思います。ahrefsを使用しており、フォーラムのAI引用でゼロ以外の値を確認している人はいますか?ありがとうございます。

あるいは、非常に愚かな計算ミスだったと言った方がいいかもしれません🤦‍♂️ でも私の言い訳は、計算したときは夜だったということです。

すみません。

私は月に10,000を得ていますが、それはそれほど多くはありません。しかし、確かに年間350万よりは大幅に少ないです。

「いいね!」 1

関連情報:

https://www.gsqi.com/marketing-blog/ai-search-javascript-rendering/

これはDiscourseフォーラムでは問題にならないでしょう。なぜなら、ボットのようなユーザーエージェントを使用するクローラーにはクローラービューが表示されるからです。

もちろん、それらが許可されていればの話ですが。