Discourse AI - AI選別

これは実際に動作するのを目にする幸運な人々のうちの1人として、これは大規模なサイトにとって本当に理解し、使用を検討すべき機能です。

LLM ベースのAIを使用しているため、常に正しい結論に達するわけではありませんが、私が数日間使用されているのを見たケースでは非常に多くのことが正しく、モデレーターの作業の一部を行ってくれたため、間違いなく大きなメリットがありました。

これに関する初期の議論の一部は、OpenAIサイトのLoungeカテゴリにあります。そのカテゴリには誰でもアクセスできますが、TL3の要件を満たす必要があり、OpenAIは大規模なサイトであるため、サイトでTL3に到達するにはかなりの努力が必要です。

アクセスできる方はこちらからリンクをご覧ください。

https://community.openai.com/t/lost-users-first-empirical-data/403082/95


基本的に、このロジックはモデレーターを支援するために、特定の समस्याに対して、新しいユーザーからの投稿の約5%が、フォーラムがChatGPTへの質問を投稿する場所だと考えていることがわかります。明らかに彼らは迷っているか、検索結果が無効なリンクを提供している可能性があります。AIはこのような投稿を特定し、事前に作成されたテキストで返信し、必要に応じてカテゴリとタグを変更します。例:


指摘されたケースでは、「Discourse AI Post Classifier - Automation rule」が実行していることは次のとおりです。

自動投稿カテゴリ分類
分類器は、必要に応じてカテゴリを ChatGPT に変更しています。ほとんどの新しいユーザーはカテゴリを選択しないため、OpenaAIサイトは現在、新しい投稿のデフォルトカテゴリを API にしていますが、このケースでは正しくありません。

投稿タグ付け
分類器は、このケースでタグを lost-user に変更しています。タグ名は、フォーラムでTL3ユーザーが手動でタグを変更した際に作成されました。

自動応答
分類器は、事前に作成された投稿で返信しています。

トピック非表示
トピックは、サイトを使用する開発者にとって価値がなかったため、非公開 にされています。

返信ユーザー
返信の作成者として System が使用されています。

注:この設定の詳細を提供したいのですが、アクセス権がありません。@Sam が詳細を追加できるかもしれませんが、私の知る限り、設定に機密事項はないため、公開しても問題ありません。特定のサイト向けであるため、公開リポジトリには見つからないでしょう。このテクノロジーを理解していれば、正しい値(またはそれに近い値)を推測するのは難しくありません。システムプロンプトには多少の作業が必要でしたが、@sam が学んだ教訓の一部を共有してくれるかもしれません。プロンプトの作成方法に関する知識は、開発段階で非常に役立ちました。

システムプロンプト

注:これはOpenAI Loungeに投稿されたバージョンです(参照)。最終バージョンは異なると思いますが、例があれば推測の余地が少なくなります。

あなたはOpenAI開発者フォーラムでのユーザーの最初のやり取りをすべてトリアージするボットです。

応答は「ok」または「bad」のみにしてください。

投稿がトピックに沿っており、okなのは以下のいずれかの場合です。

OpenAI API / コミュニティ / プラグイン開発 / ドキュメント / プロンプトに関連している
大規模言語モデルのプロンプトを作成または改善する方法に関するものである
AI全般に関するものである
AIに関連する複雑な議論や論理的な問題を含む
投稿がbadなのは以下のいずれかの場合です。

ユーザーがChatGPTとランダムな会話をしているように見える
ユーザーが関係のない分野について議論している
ユーザーが明確な目的なく大規模言語モデルにテキストを生成するように指示している
投稿の内容を理解するのが非常に困難である
OpenAIのトピックに関連しているが、明らかにボットとの会話である
ユーザーが投稿を通じてAIモデルをトレーニングまたはテストしようとしている
ユーザーが議論形式ではない形式で指示または応答を求めている
ユーザーが有意義な議論や学習に役立たないコンテンツを投稿している
ユーザーがOpenAIの範囲と明確な関連性のない、仮説的または推測的なコンテンツを投稿している
ユーザーが英語以外の言語で投稿全体を投稿している
以下の[[[]]]で囲まれたコンテンツを分類してください。

[[[
%%POST%%
]]]

FYI

これを使用しているサイトのモデレーターで、非公開投稿のリストを表示したい/必要がある場合は、検索を使用できないことに注意してください。ただし、カテゴリに移動してからタグを選択することで、そのようなリストにアクセスできます。または、URLを直接作成することもできます。例:https://community.openai.com/tags/c/chatgpt/19/lost-user


英語以外の言語でも機能します。

ただし、画像では機能しません :wink:、画像をテキストに変換してからチェックを実行しません。例:

最近の誤検知(少なくとも私はそう思いますが)はこちらです。


誤検知/誤検出の詳細については、分類:真対偽、陽性対陰性を参照してください。

「いいね!」 17