Discourse フォーラムにAIを統合してモデレーションを支援する方法を探しています。モデレーターを置き換える必要はありません。人間が見つけられないものを検出するのに役立てたいのです。時には、これらの問題はモデレーターには文字通り見えない（同じIPアドレスから複数のアカウントを作成しているスパマーなど）ことがあります。他の時には、モデレーターには見えますが、怠惰になってこれらのことを見逃しやすい（間違ったカテゴリに投稿されたトピック、またはコースから外れつつあるトピックなど）ことがあります。
AIモデレーターが支援できるタスクは無限にあります。思いつくままにいくつかアイデアを挙げます。
- すべての新しい投稿を監視し、スパマーか正規ユーザーかの可能性を示す。
- 新規ユーザーとそのアクティビティを、一定の信頼レベルに達するまで監視する。
- サスペンドされた後に新しいアカウントを作成している問題のあるユーザーを検出する。
- 間違ったカテゴリに投稿されたトピックを特定し、移動すべきカテゴリの提案を行う。
- NSFWコンテンツをフラグ付けして即座に削除する。
- トピックの会話がコースから外れているか、ロックすべきかを特定する。
- トピックが既にカバーされており、リダイレクトすべきかを特定する。
- ユーザーが複数のアカウントを作成している（同じIPアドレスから複数のユーザーがログインしている）ことを特定する。
- ユーザーが自己宣伝的または無関係な投稿を行っていることを特定する。
さらに（これは少し異なる方向になりますが）、AIが明確にマークされたAIプロフィールで特定のトピックに応答できる場合もあります。たとえば、フォーラムの使い方や特定の機能の場所（プロフィールの更新方法など）についての質問が投稿された場合、ボットは簡単に答えられる質問であるかを特定して応答し、その方法を説明することができます。
これはほんの表面をなぞっているにすぎませんが、根本的な質問は次のとおりです。Discourseのこれらのタイプのモデレーションタスクを支援できるAIボットを作成した人はいますか？
もしそうでないなら、このようなイノベーションを妨げているものは何でしょうか？これはフォーラム管理者にとって非常に役立つように思われます。人間を置き換えるためではなく（場合によっては可能かもしれませんが）、人間がその仕事をより良く行うのを助けるためです。
Jagster
(Jakke Lehtonen)
2
わかりませんが、おそらく次のような理由でしょう。AIは非常に信頼性が低く、非常に高価になる可能性があります。
これらのオプションのいくつかはすでに可能ですが、一般的に使用されていないのは、AIが信頼性が低く、人間が監視する必要があるためです。
投稿をすべて監視し、コンテンツによってトリガーされたときに介入する留守番電話は、ハードウェアと純粋なコストの点で高価でなければなりません。しかし、すべてのトピックスターターにカテゴリレベルで応答するモデルはすでに可能です。
次に、IPを監視するようなものがありますが、AIなしで簡単にカバーできますが、非常に問題があります。同じIPを持つことは非常に一般的です。
Discourse AIとDiscourse Chatbotをチェックしましたか？
「いいね！」 1
sam
(Sam Saffron)
3
Discourse AIの現在の機能をご覧になりましたか？すでにLLMによる自動フラグ付け（自動化と連携）をサポートしています。
「いいね！」 1
昨日、@Jagster さん（指摘してくれてありがとう、Jakke）からこのことを知りました。もう少し調べてみたのですが、特に高度なバージョンについて…もし私の理解が正しければ、Enterpriseホスティングアカウントを持つか、かなり強力なセルフホストサーバーを用意する必要があり、これを実装するにはかなり高価になりそうです。
いずれにしても、このオプションがすでに存在することを知っておくのは良いことです。重要な点をいくつか満たしているように見えますが、さらに活用できる方法はたくさん思いつきます。今後数ヶ月、数年でこれがどのように発展していくかを見るのが楽しみです。このようなものには大きな可能性があります！
「いいね！」 1
これには多くの潜在的な良い点がある一方で、多くのリスクや欠点もあります。
Stack Exchange には、回答をレビューする AI ボットがあり、回答が不明瞭な場合は作成者に次のように通知します。
「現在の記述では、回答が不明瞭です。質問にどのように答えているかを他の人が理解するのに役立つ詳細を追加するために編集してください。良い回答の書き方については、ヘルプセンターで詳細を確認できます。」 - コミュニティボット
このようなプロンプトは、より明確な説明を促し、人々が不明瞭な回答に混乱したり、不満を感じたり、イライラしたりするのを避けるのに非常に役立ちます。
aas
6
セルフホストインスタンスでは、OpenAIなどのホストモデルを使用できるため、リソースを大量に消費しません。したがって、埋め込みとチャットのAPI呼び出しに対してのみ支払います。
クライアントのために Discourse を使用してカスタムインテグレーションを構築しました。
- 過去のモデレーションアクティビティを収集し、NLP をトレーニングして、注意が必要なトピックやコメントをフラグ付けしました。
- 過去のモデレーションアクティビティからもトレーニングされた毒性モデレーターを追加しました。
- コメントを迅速に解決するのに役立つセンチメントインテグレーションを追加しました。
トレーニングは Google Colab で行われ、モデルは GCP にロードされ、Discourse Webhook から API を提供します。
jenmck
(jen)
11
私がフォーラムを使うのが好きなのは、私たち全員が共通の関心事や目標を持つ実際の人間だからです。誰かが質問に間違った答えで返信した場合、他のユーザーが訂正を提供するために現れるはずです。AIが間違った応答をした場合も同じことが起こるかもしれませんが、それは同じではありません。また、他者が問題にどのようにアプローチするかを読むことは、私たち自身の思考にとっても役立ちます。誰かの論理的な応答を読むことで新しい考え方にたどり着いたり、すでに知っていると思っていたことの新しいやり方を学んだりすることがよくあります。
もう一つの考慮事項は、誤検出の可能性です。これは人々を遠ざける可能性があります（そして実際に遠ざけています！）。新しいユーザーとしてフォーラムを訪れたときに、機械が私の投稿を誤ってフラグ付け/マークしたり、私を一時停止したりした場合、それは明らかに起こるべきではなかったことが明らかであれば、私は…おそらく二度と戻らないでしょう。なぜなら、サイトから離れて忘れてしまうか、面倒くさくて修正してもらうことを気にしないほどイライラするからです。
モデレーションから人間的な要素を取り除こうとする衝動は、間違った方向に向かっているように感じます。モデレーションには時々予測可能なルールがあります。そして、そのような事柄に対処するために、例えば監視単語機能やIPアドレスの一致などがあります。しかし、あいまいな事柄を処理するためにアルゴリズムを使用すると、完璧なアルゴリズムを追い求める終わりのない追跡につながり、根本的な行動に対処できる、より健全なコミュニティを構築することから注意がそらされてしまいます。結局のところ、私の希望はユーザーに行動を変えてもらうことであり、彼らがそれに能力があることを信じなければなりません。
ルーチン的な質問は、人々が人間的なつながりを作る機会であり、それらのタッチポイントは、あなたのフォーラムを支持してくれる長期的なユーザーを育成するために絶対に不可欠です。簡単な質問に答えるために現れるフレンドリーな顔は、AIには決してできない方法で、歓迎的な雰囲気を作り出します。これはコミュニティ構築の観点からは、容易に達成できる成果です！
「いいね！」 2