皆さん、こんにちは。
トピック内でシグナルが低い/意味のない返信(「ウォーターリプライ」、一般的なスパム的なコメント)を検出するためのAI支援フィルターを提案したいと思います。
問題点
多くの英語圏のコミュニティでは、トピックが以下のような短く、労力の少ない返信で溢れがちです。
- 「ありがとう / ナイス / 良い投稿」
- 「同意します」
- 「フォローします」
- 「アップ」
- 新しい情報を含まない一般的な賛辞
これらの返信はノイズを増やし、スクロールの手間を増やし、特に長いスレッドではすべての人にとっての閲覧体験を低下させます。
モデレーターはルールや手動アクションでこれに対処できますが、スケーラビリティに欠けます。また、純粋に正規表現に基づいたフィルタリングは誤検出率が高くなりがちです。
構築したもの / 現在のプロトタイプ
現在、プラグインのようなアプローチで実験中です。
- 正規表現による事前フィルタリングで、最も明白な短文/回避的な返信を捕捉します。
- その後、残りの候補をLLMに渡して分類します。
- UIは透明である必要があります:いくつの返信が非表示になったかを表示します。
- 非表示の返信はオンデマンドで表示可能(「非表示の返信を表示」)にする必要があります。
- (オプション)非表示コンテンツに対して、別のLLMステップを実行し、非表示の返信から代表的な2〜3文を抽出し、すべてを展開しなくてもリーダーが「何が隠されたか」を素早く確認できるようにします。
正規表現だけでも閲覧体験は大幅に向上しますが(スクロールが減る)、誤検出率が高すぎるため、LLMベースの判断が必要だと考えています。
提案する製品の動作(ユーザー向け)
各トピック内で、読者は以下のような表示を見ることになります。
- 「12件の返信が非表示(低シグナルフィルター:中)」
- ボタン:「非表示の返信を表示」/「フィルターレベルを変更」
そして、いくつかのレベルを提供します(例):
- オフ: すべて表示
- 低: 明らかなゴミを非表示にする(非常に高い精度)
- 中: 一般的な低シグナルの返信を非表示にする
- 高: アグレッシブなフィルタリング(ユーザーがオプトイン)
重要な点として:
- これはユーザーごとの設定であるべきです(そして、カテゴリごと/サイトのデフォルトとして設定可能かもしれません)。
- システムは透明で元に戻せるままでなければなりません。何も「削除」されず、デフォルトで非表示になるだけです。
なぜこれがDiscourseに適しているのか(特に今)
Discourseにはすでに複数のAI関連機能があり、Discourse AIのエコシステムは成長しています。**トピック内の返信「クリーナー」**は、コミュニティUXのためのLLMの最も実用的な高インパクトな用途の1つだと思います。
これは厳密には「スパム検出」(通常はアカウントレベル)ではありません。これはトピックレベルの閲覧品質に関するものです。
メンテナー/コミュニティへの質問
- Discourseにはすでに返信品質/低シグナルフィルターに関する計画はありますか?
- これをDiscourse AIの拡張機能として構築するのと、独立したプラグインとして構築するのとでは、どちらが理にかなっていますか?
- ユーザーを混乱させず、透明性を保つためのUI/UXの実装として最善の方法は何でしょうか?
- モデレーションポリシー、信頼レベル、またはエッジケース(例:「解決済み」、「リンク付きの+1」のような短いが価値のある返信など)について懸念はありますか?
この方向性が妥当であると思われる場合、詳細(正規表現ルール、UIモック、プロンプトのアイデア)を共有し、PR/プラグインの作成に協力することも喜んで行います。
ありがとうございます!