discourse-ai の RAG 能力

サポート
1

Discourse-AI のセットアップが完了しました。AI の RAG (Retrieval-Augmented Generation) の機能について知りたいです。

投稿からコンテンツを取得できることはわかっていますが、情報がトピック内にあることを理解させるために、複数回質問する必要があります。

その他の機能は正常に動作しています！

2

ペルソナにはアップロードセクションがあり、複数のテキストファイルをペルソナにアップロードできます。

参照: AI bot - Personas

これを作動させるには、埋め込みの設定が必要です。

「いいね！」 1
3

ありがとうございます。そのセクションは確認しました。素晴らしいですね。しかし、まだいくつか質問があります。

背景：ナレッジベースおよび技術的な質問に回答するためのフォーラムとしてDiscourseを使用しており、すべてのドキュメントがDiscourse上にあります。

会社のドキュメントなど、フォーラムに直接記載しないデータは、Personaのアップロードセクションを使用してフィードします。

現在、フォーラム上にある技術ドキュメントについて、AIを使用して質問できるようにしたいと考えています。私の理解では、Personaツールで設定されているDiscourse-AIチャットは、フォーラム内を検索し、AIで処理するだけで、この目的には適していないのではないでしょうか？

フォーラム自体のコンテンツ（トピックの内容を含む）に対してRAG（Retrieval-Augmented Generation）機能を有効にするチャットボットを実装する予定はありますか？

「いいね！」 1
4

これはすべて今日100%サポートされており、無数の実装オプションがあります。

  1. 検索ツールは、カテゴリまたはタグのグループにスコープできます（新しいペルソナを作成して検索ツールを追加する場合）。
  2. カスタムツールは、ここで追加の柔軟性を提供します。同じフォーラムにHTTPリクエストを作成し、フォーラムの任意のものを任意の形式で消費できます。HTTPリクエストから埋め込み検索まで…参照: https://meta.discourse.org/t/api-access-to-the-embedding-s-for-a-post/289683/3。カスタムツールでHTTPリクエストを作成する際にHTTPヘッダーを指定できるため、フォーラムで発行したAPIキーを使用できます。
  3. 読み取りツールを使用すると、トピックを読むことができます。
  4. この進行中のPRにより、ツールから直接アップロードを検索できるようになります。(FEATURE: RAG search within tools by SamSaffron · Pull Request #802 · discourse/discourse-ai · GitHub) これはさらに別のオプションです。
  5. 好みに応じて、モダリティ（PMまたはチャット）を制御できます。

実装例はask.discourse.com（顧客向けのサポートボットとして設計されました）で見ることができます。最も重要なことは、カスタムプラグインを一切使用せず、すべて組み込みのDiscourse AIプラグインを使用していることです。

「いいね！」 6
5

免責事項：私は事実上のエンドユーザーであり、AIが実際にどのように機能するかさえ理解していません。そして、私はOpenAIを使用しています。

AIが望ましい回答を返さないのには、いくつかの理由があります。

  • プロンプトによって、どこをどのように検索できるかが決まります。言葉遣いが少しでも間違っていると、AIはやりたい放題になります。
  • AIは、Googleにステロイドを投与して説明能力を強化したようなものではありません。それどころか、Googleと同じくらいひどく、適切な情報を見つけることもあります。そして、すべてを実際に読み込んで分析しているわけではなく、ただ…そう考えているだけです。
  • RAGと埋め込みは機能しますが、非常にタイトなプロンプトが必要です。しかし、それらは方向性を示すだけで、多くの場合、回答を構築するための確固たる基盤にはなりません。埋め込みだけでも多くの手作業が必要であり、多くの場合、トピック自体だけでは不十分です。トピックや投稿（さらに悪いことに）は、正確で論理的かもしれませんが、現実の世界ではどうでしょうか？そうではありません。だからこそ、ask.discourse.comは、非常に限定的で的を絞った質問をしない限り、しばしば失敗します。「登録時に特定のメールドメインのみを許可するにはどうすればよいですか？」と聞けば、答えが得られます。「グループのプライベートメッセージボックスに新しいメッセージがあったときに通知を受け取るにはどうすればよいですか？」と聞くと、多くの幻覚や誤った参照が得られます。

OpenAIにとって最も気になるのは、間違った回答が許容されるということです。それは量、特にその幻覚的で事実に基づかない回答が企業にどれだけコストがかかるかの問題です。

企業にとっては非常に真実ですが、その一人のユーザーにとっては本当に悪いことです。

AIは非常に正確になることができます。必要なのは、それをコーディングして管理するための多くの人的資源と、ビットコインのマイニングが安価な趣味になるほどのコンピューティングパワーだけです。

私の非常に弱い点は、マニュアルをトピックにドロップするだけでは不十分だということです。

6

これは非常に重要な洞察です。これらのタイプのシステムは、決して完成することはありません。

私たちは、以下のプロセスを繰り返すことになります。

  1. ユーザーがAIに質問し、悪い回答を得る
  2. 私たちがレビューする
  3. ドキュメントを修正し、正しい回答を受け入れ、検索地雷を削除する
  4. 同じ質問をして、正しい回答を得る

これらは、展開して忘れることができるタイプのシステムではありません。継続的な調整が必要です。

悪い回答に「いいね！」を下さると、私たちにとって非常に助かります。

「いいね！」 3
7

それは非常に真実です。そして、私のプロンプトが本当に悪いという非常に大きな可能性があります。

しかし…エンドユーザーはそれらのボットを使用しており、必要なものを得るためにAIを正しい方向に導く、質の高い質問を書くのが得意ではありません。そして、今日私が得た知識は、たとえ間違っていたとしても、ある時点でより良い品質につながるでしょうが、あまり役立ちません。

私の言いたいことは、80%以上のヒット率を持つAIを構築/トレーニング/チューニングするには、トピックを公開する以上の作業とキュレーションされたコンテンツが必要だということです。そして、その作業には費用がかかります（だから、あなたのビジネスが成長することを願っています。なぜなら、私は校正が大好きだからです。たとえその機能が今では完全にトピックから外れていますが）。

「いいね！」 1
8

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.