「Automation」プラグインの「Triage posts using AI」スクリプトからの「承認待ち」レビュー項目がモデレーターに見えない

バグ
, ,
1

優先度/深刻度:

中程度

プラットフォーム:

Discourse b66fca70d0e3d12ef930398289fac5269cd240c7

説明:

公式の"Automation"プラグインには、「AIによる投稿のトリアージ」スクリプトがあります。このスクリプトには、投稿にフラグを立てるオプションがあります。

自動化によって生成されるフラグの種類（および付随するアクション）は、スクリプトの「フラグの種類」設定で構成できます。

  • 「レビューキューに投稿を追加」：フラグの理由が「承認待ち」になります。
  • 「スパムとしてフラグを立てる」：フラグの理由が「スパム」になります。

個別のDiscourse AIスパム検出機能はすでに高品質のスパム検出を提供しているため、「AIによる投稿のトリアージ」スクリプトは、スパムとは関係のないタスクに使用されることがよくあります。この場合、「レビューキューに投稿を追加」オプションが最も適切です。

:bug: 自動化の「フラグの種類」設定が「レビューキューに投稿を追加」オプションのいずれかに設定されている場合、そのフラグによって発生するレビュー項目がモデレーターから見えません。これらのフラグのレビューの負担はフォーラム管理者にのみかかり、これはモデレーションタスクであるにもかかわらず、そうなります。

再現手順:

  1. 管理者アカウントでフォーラムにログインします。
  2. Discourse AI > ペルソナ管理ページ（/admin/plugins/discourse-ai/ai-personas）を開きます。
  3. 「+ 新しいペルソナ」ボタンをクリックします。
    ペルソナ設定ページが開きます。
  4. ペルソナ設定ページの「名前」フィールドと「説明」フィールドに任意のコンテンツを追加します。
  5. テスト投稿で自動化をトリガーするのに適したプロンプトを「システムプロンプト」フィールドに定義します。たとえば、次のようになります。
    あなたにはテキストが与えられ、そのテキストに文字列 `foobarbazquxpippoplutopaperino` が含まれているかどうかを判断するタスクが与えられます。

投稿にその文字列が含まれている場合は `true` と応答してください。投稿にその文字列が含まれていない場合は `false` と応答してください。

あなたの応答は、テキスト `true` またはテキスト `false` のみで構成され、それ以外のものは含めてはいけません。
  6. 「デフォルトの言語モデル」メニューからモデルを選択します（例：「CDCKホスト型LLM（小）」）。
  7. ページ下部にある「送信」ボタンをクリックします。
  8. 組み込みの「Automation」プラグインがまだ有効になっていない場合は、有効にします。
  9. プラグインの「Automations」ページ（/admin/plugins/automation/automation）に移動します。
  10. 「+ 自動化を追加」ボタンをクリックします。
    「スクリプトを選択」ページが開きます。
  11. 自動化設定ページの「名前」フィールドに任意の名前を追加します。
  12. 「AIによる投稿のトリアージ」スクリプトを選択します。
    自動化設定ページが開きます。
  13. When/What… > トリガーメニューから「投稿作成/編集時」を選択します。
  14. 前の手順で作成したペルソナをScript options > Personaメニューから選択します。
  15. Script options > Search for textフィールドに true と入力します。
  16. Script options > Flag postチェックボックスをオンにします。
  17. Script options > Flag typeメニューからAdd post to review queueを選択します。
  18. 必要に応じて、テストを容易にするために自動化の他の設定を調整します。
  19. 自動化設定ページの下部にある「自動化を更新」ボタンをクリックします。
    「Automations」ページに戻ります。
  20. 新しく作成した自動化の「自動化を有効にする」スイッチを「オン」の位置に設定します。
  21. 自動化をトリガーする投稿またはダイレクトメッセージを作成します。
    ⓘ 上記のシステムプロンプトの例では、投稿にテキスト foobarbazquxpippoplutopaperino を含めることでこれが達成されます。
  22. 投稿またはメッセージを公開します。
  23. 管理者アカウントを使用して、レビューキュー（/review）に移動します。
    :slightly_smiling_face: 自動化がテスト投稿に対して「承認待ち」フラグを生成しました。
  24. モデレーター権限を持つ管理者以外の（一般）アカウントでフォーラムにログインします。
  25. レビューキュー（/review）に移動します。

:bug: 自動化の「承認待ち」フラグによって生成されたレビュー項目がモデレーターアカウントから見えません。そのアカウントでレビュー項目のURLに直接移動しても、404ページが表示されるだけです。

追加のコンテキスト:

Script options > Flag typeメニューで代わりにFlag as spam and hide postを選択した場合、この不具合は発生しません。

これは回避策を提供しますが、スクリプトがスパム以外の理由で投稿のトリアージに使用されている場合、モデレーションスタッフにとって悪い体験となります。スパムが疑われる場合にのみフラグに「スパム」の理由が付与されることを期待しています。

「Approve unless allowed groups」機能によって生成された「承認待ち」フラグはモデレーターから見えます。これは、「AIによる投稿のトリアージ」スクリプトからのフラグの可視性の欠如は、バグによるものであり、（説明のつかない）意図的な設計ではないことを示唆しています。

これらのレビュー項目をモデレーターから隠す正当な理由があるとは思いませんが、もしあるとしても、この動作は少なくともオプションにするべきです。

この不具合は forum.arduino.cc フォーラムで再現可能です。