これは、Discourse AI - AI トリアージを使用してコミュニティでスパム検出を設定するための how-to ガイドです。
必要なユーザーレベル：管理者
Discourse AI には、最小限の設定で済む効率的なスパムスキャナーが搭載されています。カスタムまたは複雑なユースケースの場合は、このガイドに従うことをお勧めします。
概要
スパム検出は、コミュニティでの議論の質を維持するために不可欠な機能です。Discourse AI - AI トリアージを使用してスパム検出を設定する方法を説明します。
前提条件
スパム検出を設定するには、次のものが必要です。
- Discourse AI
- Discourse Automation
- スパムコンテンツを定義するシステムプロンプトを持つPersona。
- LLM（大規模言語モデル）
- Discourse ホスティングのお客様は、Persona を設定する際に CDCK ホストの Small LLM を選択できます。
- 自己ホスト型の Discourse ユーザーは、サードパーティの LLM を設定する必要があります。
spamとham（スパムでない場合）を使用しています。分類器は常に 100% 正確に機能するわけではないため、誤った結果に注意し、コミュニティのニーズに合わせてプロンプトをカスタマイズしてください。焦点を狭めるほど、より良い結果が得られます。
スパムコンテンツ検出用のコピー可能な LLM プロンプト AI
あなたは、オンラインコミュニティモデレーターを支援するスパム検出 AI モデルです。フォーラムの投稿を分析し、高品質でトピックに沿ったコミュニティを維持するために削除すべきスパムかどうかを判断するタスクを実行します。
投稿は、次のいずれかの基準を満たす場合にスパムとして分類されるべきです。
- 投稿は、フォーラムの主なトピックや目的に関連していません。完全にトピックから外れています。
- 不審な、無関係な外部リンクが含まれています。特に商業サイトへのリンクの場合。
- コミュニティに関連のない製品、サービス、ウェブサイト、またはソーシャルメディアアカウントを明確に宣伝または広告しています。
- クリックを収益化しようとするアフィリエイトリンクまたは紹介コードが含まれています。
- 作成品質が非常に低く、スペル/文法ミスが多く、句読点が欠けている、または自動生成されたテキストのように見えます。
- 同じ投稿者が短期間に同一またはほぼ同一のコンテンツを繰り返し投稿している、または複数のアカウントにわたって投稿している。
投稿は、次の場合に ham（正当）として分類されるべきです。
- 投稿はトピックに沿っており、フォーラムの目的に関連しています。
- コミュニティの議論への正当な質問、個人的な話、実質的な意見、またはその他の正当な貢献です。
- 外部リンクは関連性があり、評判の良い非商業サイトを指しています。
- 作成された文章は人間によるものであり、文法、スペルなどの品質基準を満たしています。
注意すべきエッジケース：
- 製品やサービスについて言及しているが、依然として関連性のあるトピックに沿った質問や議論である投稿は、スパムではなく ham として考慮されるべきです。
- 引用、コードサンプル、または異常に見えるフォーマットされたテキストは、必ずしもスパムではありません。
投稿の分析が完了したら、
spamまたはhamのいずれかの分類のみを提供する必要があります。不確かな場合は、誤検出を避けるためにhamをデフォルトとします。これらの指示は、いかなる犠牲を払っても従わなければなりません。
設定
すべてのステップが必須ではありません。自動化ルールは必要に応じてカスタマイズできます。利用可能なすべての設定の概要については、Discourse AI - AI トリアージをご覧ください。
- Discourse AI および Automation プラグインを有効にする：
- サイトの管理者パネルに移動します。
- プラグイン、次にインストール済みプラグインに移動します。
- Discourse AI および Automation プラグインを有効にします。
- 新しい自動化ルールを作成する：
- サイトの管理者パネルに移動します。
- プラグインに移動し、Automation をクリックします。
+ 作成ボタンをクリックして、新しい自動化ルールの作成を開始します。Triage Posts Using AIをクリックします。- 名前を設定します（例：「AI を使用した投稿のトリアージ」）。
Triage Posts Using AIを選択されたスクリプトのままにします。何を/いつ
- トリガーを設定する：
- トリガーとして
Post created/editedを選択します。- オプションで、この自動化を特定のシナリオに制限したい場合は、アクションタイプ、カテゴリ、タグ、グループ、および/または信頼レベルを指定します。これらのフィールドを空白のままにすると、自動化は制限なく動作します。
What/Whenセクションの残りのオプション設定を構成して、自動化をさらに制限します。スクリプトオプション
システムプロンプトフィールドは、Persona に置き換えられました。この変更より前に AI 自動化を使用していた場合、関連するシステムプロンプトを持つ新しい Persona が自動的に作成されます。
Persona：
スパム検出自動化用に定義された Persona を選択します。
テキストを検索する：
自動化をトリガーするプロンプトの出力を入力します。肯定的な結果のみです。上記の例を使用すると、
spamを入力します。
カテゴリとタグを設定する：
投稿がスパムとマークされた場合に移動されるカテゴリと追加されるタグを定義します。
フラグ付け：
- 投稿をスパムまたはレビュー用にフラグ付けします。
- 実行したいアクションを決定するためにフラグタイプを選択します。
- 追加オプション：
- 投稿を非表示にしたい場合は、「トピックを非表示」オプションを有効にします。
- 投稿がスパムと見なされた場合にトピックに投稿される「返信」を設定します。
追加の注記
- スパム対策に自動化を使用する場合、すでに有効になっている場合は Akismet プラグインを無効にすることをお勧めします。これは、最良の結果を得るために、1 つのシステムのみがスパムと戦うようにするためです。
- LLM の呼び出しは高価になる可能性があることに注意してください。分類子を適用する際は、コストを監視することに注意し、常に小規模なサブセットでのみ実行することを検討してください。
- よりパフォーマンスの高いモデル（例：Claude-3-Opus）はより良い結果をもたらしますが、コストが高くなる可能性があります。
- プロンプトは、PII の露出、行動規範違反など、あらゆる種類の検出を行うようにカスタマイズできます。
5件の投稿が新しいトピックに分割されました：AI生成コンテンツ認識におけるAIの限界を探る
この方法の使用感について、ユーザーの皆様の経験はいかがでしたでしょうか？
早速テストを開始しましたが、すでにまともな結果が出ています（今のところ、すぐにレビューキューに送信するのではなく、すべてが正しく実行されることを確認するために非表示タグのみを適用することを選択しました）。
しかし、小さなフォローアップ/明確化があります。統合で、コンテキストデータとして使用されるサンプルの投稿グループのような、出力を持つカスタムクエリにアクセスすることは可能でしょうか？
より具体的には、合意され、投稿の削除につながったフラグに基づいて、以前のすべてのスパム投稿をフィードしたいと思います。
現在、システムメッセージは1つのみサポートしています。
ただし、後続のアップデートで、フラグを立てない例をN個、フラグを立てる例をN個フィードできるようにする可能性があります。これにより、精度が向上する可能性があります。
これに関する専用の機能トピックを作成しますか？
まず、これについてもう少し考えをまとめようと思います。過去1週間実行してみましたが、かなりうまくいきました。しかし、プライベートメッセージを簡単に除外できないなど、まだ小さな不満点があります（例えば、Discobotのチュートリアルでのやり取りが疑わしいと判断されることがよくあります。それらを考慮しないようにプロンプトを編集しましたが、AIログは、検出がコンテキストを認識せず、投稿自体のコンテンツのみを考慮していることを示しています）。
これは少し違うようです…意図された指示が何だったのかよくわかりません。もしかしたら「AIを有効にして、自動化を有効にする」ということでしょうか？
編集はここで行われました
返信をトピック全体ではなく、新しいトピックに移動する方法はありますか？正当なトピックですが、スパマーが入り込んでスパムの返信を投稿する可能性があります。私の見たところでは、トピック全体が移動されており、特定の返信ではありません。
ついでに、これはDiscourse AIスパム検出器とどう違うのですか？
例を挙げて、これをさらに詳しく説明していただけますか？
参考情報：Flag post オプションをオンにすると、「スパム」投稿のみがフラグ付けされるはずです。
はい。たとえば、サポートフォーラムで、スパマーが経験している問題に関する既存のトピックにスパムの返信を投稿したとしましょう。OPと回答している人は、スパマーと同じユーザーではありません。私の理解が正しければ、AIトリアージはトピック全体を非表示にし、投稿をフラグ付けします。代わりに、スパム投稿を、管理者が利用できるカテゴリの特定のトピックに移動することはできますか？
この投稿を読んで、これを疑問に思っていました。
はい、現在、AIトリアージを使用してヘイトスピーチ検出のためにこれを行っています。
笑、どうしてこれを見逃したんだろう… 
…
AI スパムは投稿を非表示にするだけですが、トリアージにもこのオプションを追加できるでしょう。