スパム・AIユーザーアカウントのフィルタリング戦略

コミュニティ
1

最近数ヶ月間、私が手伝っているフォーラムで、大量のスパムアカウント登録が発生しています。これらはほぼ間違いなくAIボットだと思われます。なぜなら、それらは登録フォーム（基本的にチェックボックスの選択）を埋め、hCaptchaを解き、確認メールやユーザープロフィールの情報さえも処理できるようです。私たちは通常、いくつかの要因（例：記事の読了時間がゼロ、名前/メールアドレスに関する微妙な点、明らかに偽のユーザー情報）に基づいて、どの登録が偽物かを推測できますが、それは簡単ではありません（例：多くの場合、正規のGmailアドレスです）。しかし、このプロセスは持続可能ではありません。1日に10件の偽登録が発生することもあり、限られたトリアージ能力では間違いを犯しやすすぎます。

キャプチャを追加することで偽登録の数は減りましたが、承認を待っているユーザーの大きなバックログがまだあり、新規ユーザーが参加できるようになるまで1〜2週間かかることがよくあります。新規ユーザー向けのテキストベースのアンケートを検討しましたが、実際には、多くの質問を読んで、それらがAIによって生成されたものかどうかを推測する能力はありません（そして、この問題はますます難しくなるでしょう）。

1つの選択肢は、これらのユーザーを単純に受け入れ、明らかにスパム的な投稿をした場合にフラグを立てることでしょうか？これはプロセスをある場所（登録）から別の場所（フラグ付けされた投稿）に移動させるだけで、元に戻すことはできないため、これを開放することにはためらいがあると思います。数ヶ月かけてゆっくりと投稿し始める可能性のある100人の潜在的なAIユーザーは、フォーラムを完全に台無しにする可能性があります。

これに対処するための戦略を持っている人はいますか？私たちは比較的小規模なので、これを経験しているのは私たちだけではないと思います…

「いいね！」 4
2

私の最大のフォーラムでは、1日に5から10件のスパムアカウントがあります。

以下のものを活用しています。

最近数日前にこれをインストールしましたが、非常に効果的です。

これは自動的にミュートし、レビュー可能なアイテムを作成しません。

スパム設定の調整も役立つかもしれません: /admin/site_settings/category/spam

「いいね！」 7
3

火には火で対抗し、AIスパム検出オプションを試してみてはいかがでしょうか？ Discourse AI - Spam detection

「いいね！」 7
4

AIユーザーアカウントに関して、「投稿しないユーザーが引き起こす」「ダメージ」について詳しく教えていただけますか？

1ヶ月前に、信頼性の低いユーザーや匿名ユーザーのプロフィールを、ユーザーが実際に投稿するまで非表示にする変更を行いました。これにより、スパムが隠蔽されます。

もしスパムの量が多い場合、投稿しないアカウントを30日後に削除するというアプローチも興味深いと思います。アカウントを維持するには、自身を明らかにする必要があります。

AIスパム検出は、有効にしたすべてのフォーラムで驚異的な成功を収めています。Geminiの無料ティアのような無料モデルを使用して、ご自身のフォーラムでも利用できます。当社はお客様に当社のモデルへのアクセスを提供していますが、これはセルフホスティングでは広く利用できません。

「いいね！」 4
5

Discourse に関して、Cloudflare Turnstile をネイティブで利用する機能が無視されている点が少し問題だと感じています。これは私がこれまで見つけた CAPTCHA のソリューションの中でも、正直言って最も優れたものの一つです。有料フォーラムスクリプトでも利用しており、多くの新規ユーザー登録があるにもかかわらず、スパムは非常に少ないです。ほとんどのジャンクなものは Turnstile によって捕捉されています。

なぜ Discourse は、これほど長い間、市場に出ている選択肢をコア機能に組み込んでこなかったのか、本当に理解できません。

6

大量発生していた頃、AIアカウントは新規ユーザーアカウントの10倍の数になり、一部のフォーラム管理が非常に非現実的になりました。モデレーターの間には、ユーザーの大部分または大多数がAI/スパムボットであるフォーラムを持つことは、たとえその時点では潜んでいるだけであっても、将来的に実質的な損害を与える可能性があるというメタレベルの懸念がありました。例えば、1年後に何百もの偽ユーザーがすべてもっともらしいが役に立たない投稿を始めた場合、私たちの対応能力を圧倒し、フォーラム全体をほとんど役に立たないものにしてしまう可能性があると想像しました :slight_smile:

新規参加者に関しては少し改善されましたが、回避できるのであれば、この潜伏問題は避けたいというのが皆の希望だと思います。私たちのフォーラムはすでにAIトレーニングのために積極的にスクレイピングされています（ニッチな分野なので、少なくとも古いGPTバージョンでは、適切な質問をすればフォーラム投稿からのほぼ直接の引用をGPTに繰り返させることが可能でした）、そのため皆、それについて少し不満を抱いています。