AIトリアージは、@Roman によるプロンプト改善のおかげで、以下のものが不要になったことを追記します。
皆さん、こんにちは!このコメントは、皆さんに感謝の意を表すものです。まず、ここに提供された情報と、この機能に関する私のこれまでの投稿に感謝したいと思います。
これにより、この作業がどのように実装されたかについての非常に必要な文脈が得られました。現在、エンタープライズ、ソーシャルメディア、特に小規模または成長中のコミュニティにおけるオンラインの有害性モデルの測定と特定を研究しており、多くの質問がありますが、現時点では大きな報告はありません。
簡単なフォローアップですが、すでに実行されていた既存のプロンプトを更新する必要があるということですか?
はい、変更を反映するために、既存のプロンプトは現在更新する必要があります。
AIトリアージは素晴らしいです!古典的な「bag of words」アルゴリズムから、これがどこまで進化できるか楽しみにしています。投稿分類子は素晴らしい機能です。投稿承認キューでそれを使用できるようにする計画はありますか?(投稿数を承認、許可されたグループ以外は承認)。
つまり、レビューのためにキューに追加するだけでなく、キューから自動的に承認または却下するために分類子を使用するということです。(フラグの処理だけでなく、承認のみを意味します)
AI投稿トリアージと投稿レビューキューは補完的であると私は考えています。
タグを追加したり、カテゴリを変更したりするには、現在以下のオプションがあります(もし間違っていたら訂正してください)。
- ユーザーはAIヘルパーを使用して、コンポーザー内から、以前の投稿と比較した最近傍埋め込みベクトルに基づいて、タグとカテゴリを提案します。
- 管理者は、個別のAI投稿分類器を設定します。これは、すべての可能なタグとすべての可能なカテゴリに対してトピックをLLMで実行し、LLMの出力が指示した場合にタグを追加したりカテゴリを変更したりします。これは任意のタグを追加するわけではなく、各分類器は特定のタグを「はい」または「いいえ」で追加するだけです。これは設定と保守が煩雑なだけでなく、すべてを実行する必要があるためコストもかかります。
私が望むのは、次のような指示を受け取る分類器です。
あなたはフォーラムのタグ付けアシスタントです。このフォーラムはX、Y、Zに関するものです。
あなたのタスクは、フォーラムの投稿に1つ以上の以下のタグを付けることです。
- 投稿が何かを販売しているのか、何かを探しているのかを指定する1つのタグ。タグ:for_sale、wanted、advice
- 投稿がどのようなアイテムに関するものかを指定する1つのタグ:cars、services、tickets、kids_stuff、home_and_garden、other。
NSFWのメッセージを見つけた場合は、NSFWとタグ付けしてください。
また、投稿をモデレートするためのアクションを設定することもできます。
このフォーラムのトピックに沿っているが、攻撃的と見なされる可能性のあるメッセージを見つけた場合は、アクションを「フラグ」に設定してください。
トピックから外れているメッセージを見つけた場合は、アクションを「非表示」に設定してください。
これは、追加するタグまたは実行するアクションを指定するJSON構造を返す、優れた新しいOpenAIの構造化出力オプションを伴うことができ、これは分類器によって処理されます。
このようなものはロードマップにありますか、またはPRは歓迎されますか?それともプラグインの領域になりますか?
これを進める最も安全な方法は、まったく新しい自動化を定義することだと思います。現在のものとは構造的に大きく異なります。
Discourse AI への十分にテストされた PR には前向きです。
AI の Completion Prompt は現時点では構造化された出力をサポートしていないことに注意してください。この概念を追加し、OpenAI モデル用に実装する必要があります。多くのモデルがあり、その多くはネイティブ サポートを持っていません。エンド ユーザーを混乱させず、機能がサポートされていないモデルを選択できるようにする限り、まずは OpenAI サポートを提供する PR には前向きです。
ただし、これはかなり大きな変更ですが、もしあなたが挑戦する気持ちがあるなら、ぜひやってみてください。
まずは、構造化された出力サポートを完了プロンプトに追加することから始め、複数の PR で進めることをお勧めします(テスト済み)。
「投稿に自動タグ付け」の自動化を作成していますが、タググループに追加したタグを選択できません。回避策があれば教えてください。既存のタググループを維持したいです。よろしくお願いします!
皆さん、こんにちは。
これは正しく理解していますか? 50のカテゴリを使用する場合、トピックをそれらのカテゴリに自動的に分類するためにAIトリアージを使用するには、それを達成するために50の一意の自動化が必要になりますか?
LLMへの呼び出しは、最初の投稿に対して新しいトピックが作成されたときにのみ行われますか? このシナリオでは、AIの使用は過剰ではないようです。
誰かが別のアプローチを検討していると読んだことがありますが、まだアイデア段階かもしれません。
自動でカテゴリ分けする際の粒度によります。
自動でトピックをカテゴリ分けする際に、AIを使用するよりも検索入力ボックスの一致が優先されるのでしょうか?
言い換えると、自動化で「バナナ」を検索用語として設定し、ユーザーが投稿内で「バナナ」を使用したトピックを作成した場合、一致し、AIは実行されず、「バナナ」としてカテゴリ分けされます。
ユーザーが「黄色い果物、サルが食べる」というトピックを作成した場合、一致せず、AIプロンプトが実行され、それがバナナ
であると判断する可能性があります。
このシナリオでも、「バナナ」は既存のカテゴリになります。
@RGJ が話していたことや、@Falco と私が検討していたアイデアのいくつかに、これが関連しています。
ペルソナをエージェントとして機能させ、そのエージェントにトピックの分類などのさまざまなタスクを実行させることを許可することに、私は前向きになっています。
ここでの仕組みはすべて検討中ですが、私たちはこのことについて考えています。
50 の自動化は明らかにひどい解決策です。
こんにちは
AI Triage は検索を実行できますか?他のトピックの作成日が1日未満の場合、類似したタイトルのトピックを回避するプロンプトを使用したいと考えています。AI Triage でこれは可能ですか?
現時点ではそうではありません。エージェントのような動作について説明しているようです。これは間違いなく、私たちが考えていることです!
素晴らしい、見事に機能します!\nアドバイスを求めています。トークン数の上限として何を設定すべきでしょうか?これはトラフィックの少ないフォーラム向けです。
関連性のためこちらにコピーします
この機能は改善が必要だと思います。AIが自動的にトピックを分類し、適切なタグでサポートすることを期待します。現在の状態では完全自動ではありません(または私が理解していないだけかもしれません)。例えば、特定のカテゴリを選択する必要があります。実際にAIがあるのに、なぜすべてをやってくれないのでしょうか?それはユーザーと管理者にとって大きな利便性になるでしょう。もしカテゴリとタグがAIによって自動的に整理されれば、タイトルさえ含めることができます。そうすれば、ユーザーがしなければならないことは、言いたいことを書くだけです。それによって数秒節約でき、ユーザーにとって大きな利便性となるでしょう。
根本的な答えは、「すべて」が人によって異なる意味を持つということです。デフォルトは役立ちますが、99%の人に完全に適合するレシピを見つけるのは非常に困難です。すべてのコミュニティはいくらか異なります。
私たちの目標は、人々の仕事をより簡単にすることです。そのため、これを自動化し、必要に応じて管理者または権限のあるユーザーが編集してAIにフィードバックを提供できるようにしましょう。この機能はそのままにしておくことができますが、AIによるカテゴリとタグの決定を完全に自動化することについて考える必要があります。
実際、私の期待は、人々が https://ask.discourse.com/ のような場所で簡単に新しいトピックを作成でき、カテゴリ、タイトル、タグに時間を無駄にしないことです。これらは後で必要に応じて編集できますが、ユーザーにこの利便性を提供することのメリットについて考える必要があります。
AIがこれをうまくこなせる可能性は低い。トピックを書いている人が、どのカテゴリに入れるべきか、または適切なタイトルは何かについてコミュニティについて十分に知らない場合、コミュニティに価値のあるものを投稿する可能性は低い。
どこまで行けば気が済むのか? なぜユーザーに何も書かせないのか? AIがトピックや返信を生成すべきではないか?
最後の返信に同意しますが、自動カテゴリ分類は試してみる価値のある良い機能かもしれません。
Samが指摘したように、機能の有効/無効を切り替えるオプションがあれば、さまざまなニーズに対応できるはずです。
カテゴリを選択するためのUI/UXは、技術者以外のユーザーには難しいです。ドロップダウンをスクロールしたり、マウスとキーボードを使ったりするのではなく、ただ入力して投稿したいと思うでしょう。