AIを使ってスレッドに自動返信し、信頼レベルを上げるユーザーにはどう対処していますか?

この質問は、フォーラムのオーナーやモデレーター全員へのものです。AIを使ってフォーラムを自動的に閲覧し、直近のコメントを自動で読み取り、AIがスレッドへの返信を自動生成して投稿するユーザーについて、皆さんはどうお考えですか? こうしたユーザーは、実際にフォーラムに参加しなくても、信頼レベルを上げて信頼レベルが設定されたセクションにアクセスできるようにしたいという動機で、このようなことをしています。

皆さんは、こうしたユーザーを積極的に取り締まっていますか? AIが書いたものと判断する基準は何ですか? それとも、見逃すようにしていますか?

「いいね!」 3

さらに不誠実なケースもあります。あるユーザーがAIで生成した新しいトピックをスレッドに投稿し、しばらくしてから、別のユーザー(おそらく同じ人物が所有しているアカウント)が返信でその投稿に同意し、称賛する、という投稿を見たことがあります。

「いいね!」 4

この挙動は見たことがありませんが、私ならBANをします。もし彼らが良好な状態のメンバーであれば、警告にとどまるかもしれませんが、この話では彼らが貢献したことがないようですね。

LLMによる貢献について明確なポリシーを持つことが役立つと思います。

「いいね!」 6

さて、この問題に対処するにはどうすればよいか、という質問への私の答えは、信頼度ゲート付きコンテンツをどの程度重視しているか、そしてそのコンテンツへのアクセスをどの程度重視しているかによるでしょう。

もし、人々が「システムを悪用して」アクセスを得ることを望まないコンテンツであれば、そのような行動を防ぐ方法を検討すべきだと思います。

その理由は、そのような行動が非常に一般的だからです。ロバートの例を見てください:

ああ……ここでは毎日こんなことが起きています……

とにかく

多くの場合、人間モデレーターは単にそれを読むだけでかなり明白にわかりますが、それにはモデレーターの時間がかかります。一部の管理者は、AIを捕捉するためにAIを使っています(面白いでしょう?)

同様の議論はここにあります:

「いいね!」 4

使用されているユーザーエージェントを特定できる場合、またはそれらが制御基準を遵守している場合は、ブロック、レート制限、または llms.txt の使用を検討できます。

ただし、これらは自動化プログラムが「紳士的」に動作する場合にのみ有効です。

特定の地域が問題となっている場合は、ジオブロッキングも常に利用できます。

私は AI 検出エージェントを使用して、新規または信頼度が低いレベルのアクセスをスクリーニングしています。精度は約 95% 以上と実証されています。

悪意のあるアクターがどれほど巧妙であるかによりますが、いくつかの作業とテストを通じて、こちら側がより巧妙に対応できるようになります :wink:

「いいね!」 4

私たちもよく似た状況を目にしています。もちろん動機までは言及できませんが、私の経験上、これは「信頼を得ようとする」ことよりもずっと興味を引かれません。ただのスポンとしか思えません。

スパムには現在、AIの学習データセットや GEO も含まれます。これは、彼らにとって製品やサービス、あるいは企業をインターネット上のあちこちに単に「言及」するだけで有益になるものです。

つまり、時にはリンクを貼るのに十分な信頼を蓄積するためにやっているのでしょうが、リンクはもはや二次的なものだと推測しています。

これまでの見分け方は比較的明白でした。私の「正直な感想」は、「構造的な弱点」がはっきりと露呈しているということです。私はそのトピックを保留にし、ユーザーに「ようこそ、戻すには私に返信してください」というフレンドリー(ただし定型文)なDMを送ります。

これまで誰一人として私に返信した人はいません。

「いいね!」 4

別のユーザーが提案したように、ゲート付きコンテンツの価値と、フォーラムへのユーザー貢献の相対的な価値を再考する必要があるかもしれません。ゲート付きコンテンツへのアクセス権がない人々は、意味のある貢献に必要な知識やスキルを持っているのでしょうか?スパム投稿が役立つようにはせず、かつ人々がそうする誘惑を感じないよう、信頼度レベルを上げるための要件を変更し、それを明確に示す方法を考えてみてください。

AIが導入される以前、新規ユーザーは意味のある貢献を行い、次の信頼度レベルに到達することができていましたか?

「いいね!」 4

驚くべきことに、あるいはそうでもないことに、私はここでAIヘルパーを使って投稿がAI生成かどうかを判定してきました(一部はテスト目的、一部は遊び心で)。自分で本当にAI生成かどうかを判断した上で使った結果です。そして見よ!AI作成か人間作成かを判定する精度が驚くほど高いことがわかりました。


ユーザーがAIを使ってフォーラムを意図的に悪用していることが明白な場合、まず警告を1〜2回出し、その後数日間の停止処分を提案したいと思います。

「いいね!」 1

第一原理に立ち返るべきです。彼らが制作しているコンテンツは、より広いコミュニティにとって価値があるのか?もし価値があるなら、それがどう作られたのかは問題ではないはずです。価値がなければ、その問題に対処すればいい。もし誰かがサックパペット(同一人物による複数アカウント)を使って大量の無価値なコンテンツを投稿しているなら、それがAIによるものでも人間によるものでも、処置は同じであるべきではありませんか?

「いいね!」 6

私たちのコミュニティは待機状態にあり、私はこのことについて多く考えました。私たちが生きているこの時代では、ほとんど誰もポリシーや原則を尊重しないからです。そのため、ユーザーがアクセスを得るために特定の(人間の)クエストを完了する必要がある、独自の信頼レベル/カルマシステムを実装しました。

最初は基準をかなり低く設定しますが、ここで指摘されたような行動が見られた場合、LLMを使って自動化したり達成したりすることが退屈で、面倒で、ほぼ不可能になるよう基準を引き上げます。

私たちのコミュニティは人間同士の交流に基づいています。Discordは、その中央集権的なシステムが私たちの哲学と一致しないため、離れました。また、将来的にAI生成のライブカメラも登場するだろうと予想しており、それらへの対応計画も立てる必要があります。

私はインターネット上の生涯でいくつかのフォーラムをモデレーション・管理してきましたが、強制や懲罰的な措置は通常、逆効果であるということを身をもって学びました。それらは常に最後の手段でなければなりません。

ご存知の通り、「トロールに餌を与えるな」という原則はどこでも当てはまります。

「いいね!」 3

正直なところ、多層防御(layered defence)の基盤であるTLシステムが機能し始めつつあるのではないかと心配しています。メタではその傾向は見られませんが、AIによるスパム検出やTL設定をカスタマイズしていますか?

「いいね!」 3

正直に言うと、内側の90年代映画ファンが書き続ける限り、ラテンアメリカ発のニッチなコミュニティを再開し、それを世界に開くつもりです。フォーラムは生き残るべきだと考え、数年以内に我々——人間——は世界の0.5〜1%になるだろうと思っているからです。

Diggは消え、Stack Overflowも消えました。Redditはもはや人間主導ではありません。私はそこにいましたが、実際に迫りくる怪物を見て、離脱を選びました。APIへの制限、代替クライアントのBAN、至る所のクッキー、人間に「ボットではないことを証明せよ」と求めるキャプチャ、あらゆるインタラクションへのフィンガープリント、などなど。

コミュニティを再開すればスパムボットが流入しますが、我々(私)は常にセルフホスティングを好むため、インフラへの攻撃が増えることを予想しています。そこで、SEOに関するすべてを忘れ、できる限りすべてを制限し、「我々」同士のインタラクションを維持し、暗号化の仕方を学び、分散型ネットワークでの配布、そしてDiscourseをDumbcourseを通じて利用するためのTor上の存在を選んだのです。

それは最後の防衛線であり、今日必要というわけではありませんが、私のディストピア的(あるいは聞き手や読み手によっては狂人的とされる)側面は常に待機状態にあります、ご存知ですよね。映画で見るように:エージェント、クモ、完全な管理、そしてほぼ全員に対する幻想。

Discourseに戻りますが、我々は異例の、大多数が追うものとは異なることをしているため、スパムによる悪用は期待していません。しかし、多くのユーザーがAIを悪用して、実際よりも自分を良く見せようとするインタラクションを試みることは予想されます。それは不可能なだけでなく、改善を望む者が取れる最悪の決定でもあります。

つまり、リーダーに従う感情的な群衆から、エージェントを排除し続ける信頼できるモデレーター集団へと移行するということです。Discourseの信頼レベルシステムは素晴らしいものだったと思いますが、現在の世界では推奨されていません。人々はすべてを即座に手に入れようとし、その引き換えにほぼ価値のないものしか得ていません。

一般的なバッジ/信頼システムではなく、オールドスクールなシステムにするという私の決定は、すべてのノイズを断ち切ると考え、世界最高のチームが主導するフォーラムにとって最良のプラットフォームを選んだと思っています。すべてがどこに向かうか、見ていきましょう。

あなたの記事と、分裂や有毒な断片化に関する記事を読みました。本当に自分自身で生き、所有していることから書く人々を読むのは、いつも美しいものです。「デッド・インターネット」理論にあなたが精通していることに、嬉しい驚きを感じています。今まさにそれが現実になっています。

「いいね!」 2

スパムについてです。約2年前、あらゆる点で最悪だった老朽化しきったプラットフォームからDiscourseに移行しました。当時はスパムに対応しきれない状態でした。

Discourseはこれを劇的に改善し、AI検出を有効にするとまさにゲームチェンジャーとなりました。

スパムがすり抜けたトピックを思い出すことができません。新規メンバーに対する誤検出は数件ありますが、大した問題ではなく、以前の状況と比べればそのコストは negligible です。

大量のアカウントを作成していた特定の地域をブロックすることができ、その結果、スパムは負担にもならないし、心配するほどのレベルまで下がりました。

Discourseで気に入っているのは、問題に対処するための柔軟性、絶え間ない進化、そしてチームのサポートへの姿勢です。とても爽やかな変化でした。

「いいね!」 3

インターネット上で構築する経験については、Metaコミュニティ全体が持つものほど豊富ではありません。私は常に選定された/小規模な/ニッチな場所にいたので、そうなんです。P2Pシステムの基礎を作るのに約10年かかり、英語も数年前から理解できるようになったばかりだったので、大きな動きからはほぼ置いていかれていました。

その間、Ghost CMSに対してスパム攻撃を受け、システムが対応できる準備ができていなかったため、登録機能を無効にする必要がありました。SMTPサーバーのリソース使用量は、2年分相当をわずか1ヶ月で消費するほどで、まさに異常事態でした。

選定されたコミュニティを維持することは、アカウントの人間による審査を可能にします。クローラーやボットを遠ざける唯一の信頼できる方法はこれだと私は考えています。現代では、彼らが超えられないシステムは存在しません。彼らが管理する計算能力は進化を続け、日々強くなっています。

良いツールはいつも助けになりますが、真の防御は私たち自身にあります。

私は重要だと思います。あるケースでは、スパマーがAIで生成した、_惹きつける_ような質問をしてきました。私たちのコミュニティはそれに対して多くの時間を費やしましたが、結果として「OP」(投稿者)が戻ってきてスパムリンクを貼り付けたり、後から質問を編集してリンクを含めたりすることがありました。転換点(スパム行為)が明らかになる前には、明らかにトロール(挑発者)であるとは分かりません。

人々がそうやって騙されたり裏切られたりするのは、そう何度も許されるものではありません。それはコミュニティの善意を破壊してしまいます。

「いいね!」 3

あなたのフォーラムだけが標的ではないと推測します。そう考えた場合、こうした行為を行っている主体は、おそらく元のトピックを作成する時間を費やしたくないはずです。そのため、AI生成の投稿は、全体のプロセスにおいて時間を節約する手段となります。したがって、AI作成の投稿をブロックするための警戒は、スパム攻撃を軽減する有効な方法であると考えられます。