AI搭載スパムをコミュニティメンバーから聞きたいと思っています。
これは、ChatGPTベースのように見え、人間らしくない、または幻覚（LLMの一般的な問題）を起こしているように見える質問への回答を具体的に見ることになります。
回答がはいの場合、興味があります…
回答がいいえの場合、知りたいです…
私たちはAIを知識を探求するためのツール、あるいはちょっとした世間話に使うだけです。
コミュニティは小さいかもしれませんが、「幻覚は悪いことだ」という常識があります。
プライベートコミュニティ（ログイン必須、招待制）。
スパムを止める最も効果的な方法は、非常に小さく難しい言語のメンバーになることだと思います。手作業を行う連中を排除できます。
さて、スパマーはそれほど賢くなく、自動トラフィックは言語、ジャンル、さらにはサイズを気にしないことを皆知っています。では、なぜ一部のフォーラムやサイトがあらゆる種類のゴミにとってハチミツの壺のようになり、他のサイトが問題なく機能するのか、別の理由があるはずです。
スパマーがそこに入力でき、システムとセットアップが同一であるはずなのに他の場所ではできない理由については、答えがありません。しかし、確かなことが一つあります。管理者または他のバックグラウンドの力がグローバルなオーディエンスからの急速な成長を望むと、ボットとスパムの問題につながるでしょう。
ここ2週間ほどで、私たちのサイトで急増が見られました。新しいアカウントからの新しい返信に、隠されたリンクを持つ典型的なスパムが見られます。新しい投稿を作成するための評判を上げたところ、AI生成の応答が増加し、ボットが偽のアカウントで評判をゆっくりと上げようとしているように見えました。これらの応答には明白な偽のリンクはなく、質問に答えるのに貢献しない一般的なAIテキストが含まれているだけです。
週末にスパム投稿の大量の急増に見舞われ、誰かがフォーラムにスパムが多すぎると言う新しいトピックを作成するほどでした。それ以来、管理者は偽のAI投稿をクリーンアップするために毎日サイトをチェックする必要があります。また、過去に作成され、アクティビティがなかったアカウントでもAI投稿が見られ、一部のスパムボットがしばらくの間アカウントをシードし、アクティビティなしで放置していたように見えます。現在、新しいトピックを投稿してエンゲージメント制限をゆっくりとクリアしようとしています。
上記のように、新しいトピックを投稿するための信頼レベルを上げました。Akismetも有効にしました。しかし、これはAIスパム投稿を止めていません。現在、管理者はフラグ付けされた投稿を確認し、クリーンアップするために毎日フォーラムをチェックする必要があります。一部は挑戦的で、人間のように見える場合があるため、2人で確認する必要があります。
ユーザーにAIのように見える投稿をフラグ付けして支援するように促したところ、それが役立ちました。
私たちのフォーラムは比較的低トラフィックで、長年非常に低い管理クリーンアップとメンテナンスで運営されてきましたが、AIボットが見つけたようです。AIを止めるにはAIが必要だと思いますか？
ええ、残念ながら。それか、一時的に新規ユーザーをすべて審査し、「ユーザーがサインアップしてから」投稿するまでの時間を遅くする必要があります。
以下があります。
フラグ付けもサポートしているので、今日から使用できます。
その点について、ちょうどガイドを公開しました！
これに続いて、誰か試してみましたか？フィードバックをいただけると嬉しいです。
まだ多くは見ていませんが、私のフォーラムでは最初の数件の投稿をモデレーションしており、特定のヒントからスパマーかどうかを判断できます。トピックに明らかに沿った投稿をするまで、疑わしい投稿はTL0でロックします。
これは「ランダムなことについてチャットする」フォーラムではないので、最初の投稿で興味を偽っているかどうかを判断することは通常可能です。
実は、AI（ChatGPTなど）で投稿しているユーザーを一人見つけました。見逃しているスパムアカウントが他にもあるかもしれません。
対策のアイデアをいくつかご紹介します。
サイト滞在時間と投稿単語数の比率、さらにVPN、コピー＆ペーストされたコンテンツ、注入されたコンテンツなどの他のシグナルに基づいて、ユーザーを大まかに分類することは可能でしょうか。疑わしいアカウントはレビューのためにマークすることができます。
編集：この迅速なData Explorerクエリで、さらにいくつか見つかりましたが、すでに停止されているものもありました。
SELECT
u.id,
u.created_at,
u.username,
u.trust_level,
us.time_read,
us.days_visited,
us.topics_entered,
us.post_count,
us.topic_count
FROM users u
LEFT JOIN user_stats us
ON us.user_id = u.id
WHERE u.trust_level < 1
AND u.created_at > '2023-01-01'
AND us.time_read < 1000 -- seconds
AND us.post_count > 1
これは、より高いTLにアップグレードするために、1日で「偽のアクティビティ」を行う可能性のあるユーザーを排除するための興味深いアプローチです。
ユーザーを分類するための追加の方法を使用するというここの推奨事項は気に入っています。検討する価値がありそうです！
5件の投稿が新しいトピックに分割されました: Blocking recent wave of spam
1日1件。約2000人のユーザーがいるフォーラム（年間500人新規）でのパターン：
これは、以下の記事で説明されているパターンと非常によく似ている：
Hotmail、Gmail、その他の大手コンシューマー向けドメインは、明示的なリストを使用して既にブロックしているが、この種のアプローチで使用されることが知られているドメインは少なくとも10,000件ある。自社ソフトウェアには明示的なリストと、UserCheckでのリアルタイムチェックがある（無料版を使用し、サインアップ時のみ自社アプリとキャッシュでチェックするため、月5000回のルックアップで十分）。
私の見たところでは、この特定の問題は、一時的な/スパムのメールドメインを自動的にブロックすることで対処できる。
TL0（新規ユーザー）がリンクを使用することをブロックすることは、すべての新規リクエストをモデレートすることよりも実際的ではない。多くのユーザーは最初のサインアップ直後に投稿するため、このサイトはサポートポータルである。
これに対応するプラグインがあるが、メンテナンスされていないようだ（https://meta.discourse.org/t/plugin-to-detect-reject-disposable-emails-on-signup/162569を参照）。
このアプローチが、例えば大規模なフォーラムやコンシューマーメールアドレスを受け入れるフォーラムのすべての問題を解決できるかどうかはわからない。
最近AIスパマーが多くて、一つ一つ確認するのが大変です。
現在確認しているスパマーは、完璧な英語で書かれており、VPNを使用し、メールアドレスはStopForumSpamに登録されており、キーボードに存在しないダッシュ文字が使われていることから、コピー＆ペーストされたコンテンツだと判断できます。これらすべてを自分で手動で確認する必要があり、今朝もまだいくつか確認すべきものがあります。
別のアイデアをブレインストーミングします。
投稿が保存された際に、Discourseは投稿のJSONBフィールドに以下の追加データを記録できます。
モデレーターは、投稿でそのデータを小さなテーブルで表示できます。異常な値はハイライト表示され、疑わしい投稿が目立つようになります。
検出を自動化する完璧な方法はないかもしれませんが、より多くの情報があれば、モデレーションプロセスを迅速化できます。
以下のガイドのいずれかが役に立ったかどうか気になります。スパムは時間とともにますます巧妙になっているためです。
AIをフォーラムで使用したことがありません。高価だからです。また、コンテンツは正常に見えるため、AIがこの問題を解決できるとは確信していません。それでも、疑わしい投稿はすべて手動で調査する必要があります。
NSFWコンテンツに問題はありませんでした。
私の問題は、コンテンツに何か問題があるということではありません。それについて疑わしい唯一の点は、新規ユーザーが登録後数分以内にそのような投稿をしないこと、そしてコンテンツがいくぶん曖昧であることです。私のメインフォーラムは非常に特定のトピックを持っており、最初の投稿がそのトピックとの関係について具体的に言及していない場合、調査プロセスを開始します。そうでなければ、彼らの投稿に気づかないかもしれません。
例をいくつか挙げます。コンテンツは調査プロセスを開始するには十分曖昧ですが、手動で行う必要があるため時間がかかります。
コンテンツのみに基づいてこのユーザーを禁止することはできません。それがスパマーであることを示しているのは、他の手がかりです。
このIPアドレスはノルウェーのVPNであり、コンテンツは曖昧すぎました。メールアドレスがドイツのIPアドレスを持つStopForumSpamにあったため、確認できました。
これは単なる独り言ですが、次のような投稿に小さなテーブルがあれば、これらのユーザーのモデレーションが速くなるでしょう。
| location | Oslo, Norway [from maxmind] |
| organization | PacketHub S.A. [from maxmind] |
| is_vpn | true |
| whatever@example [sometimes this provides clues] | |
| stopforumspam | true [link] |
| characters_output | 1,234 |
| characters_output_pressed | 10 [this doesn’t match the number of chars in the post, so it’s a clue] |
| num_cut_or_copy | 0 [didn’t copy text from editor] |
| num_paste | 1 [did make one paste] |
| seconds_editor_open | 20 [suspicious for a post of that length] |
テーブルは、疑わしい値がある場合を除いて折りたたむことができるかもしれません。または、モデレーターが特定のユーザーを「おそらくスパムではない」とフラグ付けでき、その場合、そのユーザーのすべての投稿でテーブルが折りたたまれたり、将来のルックアップが停止されたりするかもしれません。または、ユーザーがTL2に到達すると自動的に安全とマークされるかもしれません。
それはいくつかのことの組み合わせです。
フォーラムの投稿 1622105 を確認してください。登録から3分後に投稿され、QuoraからStack Exchangeへのリンクを変更するために手動で編集されており、英語は問題ありませんが、Discourseには関連性のないテクノロジーについて話しています。投稿者に通知してしまうため、リンクは貼りたくありません。
上記で言及したデータが投稿内に表示されると役立つのは、そのような投稿です。
これは、AIとスタッフの経験の差のように感じます。トピックに適切な担当者を呼びます。
既存の「高速タイピング」検出を強化することは、非常に魅力的だと思います。SFSをコアに統合することも魅力的かもしれません。
もちろん、深い哲学的な疑問があります。
AIによって生成されたものであっても、フォーラムに価値を加えるものであれば、それはスパムですか？
人間によって生成されたものであっても、フォーラムに価値を加えないものであれば、フォーラムから削除されるべきですか？
どちらの質問にも、非常に明確な答えはありません。
モデレーターが利用できるメタデータを増やすという提案は、自動機能の改善とは別に、良いものだと思います。
フォーラムによって異なる可能性があります。
スパマーの投稿が議論を促す場合はいくつかオンラインに残しますが、ほとんどは削除されます。品質は非常に低く、AIが書いたものであることはしばしば容易にわかります。AIによって書かれたと感じる場合、その情報源への信頼を失い始めます。私はAIルッダイトではありませんが、AIによって生成されたコンテンツであると知らされていない限り、AIによって生成されたコンテンツを読みたくありません。
フォーラムで誰かがAIを使用しているのを見た場合、信頼できるコンテンツはフォーラムの最も重要な資産の1つであるため、すぐにそれを止めます。
また、2024年の人間には許容できるように見えるものが、2034年には人々がAIであると検出するのが容易になる可能性があります。数十年前はリアルに見えた映画の効果が、今では偽物としてすぐに検出できるようなものです。2024年のAI生成コンテンツは、最終的には時代遅れになると思います。
