Discourse チャットボット 🤖

@merefield ありがとうございます!

どうやってそんなに早くデバッグできたのですか?

Zendeskを削除します…簡単です :slight_smile:

「いいね!」 1

苦い経験 :sweat_smile:

「いいね!」 3

皆さん、こんにちは。

OpenAIのアカウントを作成しました。
"アシスタント"を作成すべきでしょうか?
プラグインとAIを連携させるための手順があれば教えていただけますでしょうか?

よろしくお願いいたします。

いいえ、必要なのはトークンだけです。より高度なモデルやより高いレート制限にアクセスするには、OpenAIアカウントにクレジットをチャージする必要がある場合があります。

API関連のことはすべてプラグインによって処理されます。

(ちなみに、豆知識ですが、ChatbotはAssistants APIを明示的にサポートしていません。なぜなら、Chat Completions APIとEmbeddings APIのみを利用した独自の会話および「内的思考」システムを実装しているからです。Assistants APIはトークンを浪費し、多額の費用がかかることで悪名高いので、これは素晴らしいことです。Chatbotは節約できるように構築されています!)

驚きました。私が思っていたよりもずっと多くのことができるのですね。

ChatGPTの世界でトークンとは何なのか、説明していただけますか?現在、ChatGPTプレミアムに月額20ドルで加入しています。私が目指していたのは、Discourseのユーザーが、私がchatgpt.comでトレーニングしているAIにアクセスできるようにすることでした。

これが意味をなしていること、そしてユースケースが明確であることを願っています!

それはお金のようなものです。トークンは単語や単語の一部と考えることができます。何かを質問すると、それはX個のトークンに相当します。OpenAIが質問を処理すると、より多くのトークンが使用されます。そして最後に、回答が作成されると、それはトークンによってコストがかかります。

使用されるモデルや会話によっては、そのトークン使用量に対して、時には多く、時には少なく支払う必要があります。

「いいね!」 1

o1の使用能力は私のAIの使用法をかなり変えました(そして、神ではなく、ロバートのコーディングスキルのおかげで、それを私だけに限定できます)。しかし、o1シリーズはシステムプロンプトを使用しないため、数学の表示方法などのガイダンスをプロンプトに追加する必要があります。

実際のプロンプトの後に自動的に追加される標準テキスト、つまり投稿があれば、もっと簡単になるでしょう。Discourseにはそのような機能がありますが、私がそれを使用できないか、間違って使用しているかのどちらかです。Chatbotが言及されている場合、またはPMの一部である場合、すべてのカテゴリとPMに表示されるはずです。そして、o1またはo1-miniが使用されている場合にのみ🥴

o1シリーズはまだ準備ができていないため、ツールなどの使用方法が変更される可能性があります。そのため、新機能の要求ではなく、オプションについての議論かもしれません。そして、o1シリーズは決してバルクソリューションにはならず、あまりにも専門的(そして高価)であるため、ユーザーがそれらの追加ルールを覚えておく必要があるという需要は正当化されるかもしれません。

オフザトピックですが、o1が公開されたときにGPTモデルは数学を学習しました。

「いいね!」 1

OpenAI の一貫性のなさを補うために、カスタマイズにあまり踏み込むことはできません。

o1 がプレビューを終了すると、ツールやシステムプロンプト機能が登場すると強く予想しています。

ただし、チャットボットで「スニペット」システムを実装する場所であるとは確信が持てません。チームの誰かがそれを作成したのを覚えています。見つけて投稿を更新します…

こちらです:

「いいね!」 4

@Jagster、非常に分かりやすい情報提供ありがとうございます。私の意図とは少し違っていたのかもしれません。このプラグインをOpenAIと連携させようとしています。これを使っています。


接続方法について、基本的な情報を知りたいだけです。

「いいね!」 2

それはアクセスを取得するために生成するAPIキーにすぎません。それ以上でもそれ以下でもありません。いわば、あなたのパスワードです。

「いいね!」 3

なるほど、これで混乱が解消されました。

はい、APIのトークン(またはキー。これはOpenAIから取得する必要があります)と、単語の一部を表すテキストのトークンがあります。後者はLLMによって処理されます。前者はAPIで認証されるために必要です。

こちらに、The Vergeによる用語解説の非常に良いガイドがあります。

「いいね!」 5

ローカルでLlamaを実行しており、ローカルのDiscourseインスタンスでこれを動作させる寸前です。チャットボットはチャットしていますが、埋め込みを行うのに苦労しています。私のベンチマークユーザーは信頼レベル1です。rake chatbot:refresh_embeddings[1]というRakeタスクが認証の問題で失敗しています。

Faraday::UnauthorizedError: the server responded with status 401 (Faraday::UnauthorizedError)

チャットボットのOpenAIトークンフィールド内に、Llamaが提供したURLを貼り付けました。

適切に認証する方法について、何か提案はありますか?

「いいね!」 4

試してくれて嬉しいです!

チャットできているようで嬉しいです :smile:

チャットボットをローカルで埋め込みに使用できるかどうかはわかりません。

サポートを追加するための良いPRを受け入れます。

これを見つけました:

したがって、適切なモデルと、チャットボットに関連する追加のコードと設定があれば可能かもしれません。カスタム埋め込みモデル設定が必要になるでしょうが、それはまだ存在しません。

ただし、これはすでにあります:

chatbot open ai embeddings model custom url

これは主にAzureのサポートを支援するために実装されましたが、チャット補完をローカルのollamaサービスにポイントするのと同じように再利用できます。

現在、これによりボットのローカルでの有用性が制限されていることを理解しています。

これはエンドポイントに送信されるトークンです。単純なテキストフィールドです。ここにURLが機能する可能性は低いと思われます。さらに下にカスタムチャット補完エンドポイントURL設定があります:

例:chatbot open ai model custom url high trust

フォークして、既存のものと一致する関連する追加を行い、すでに利用可能なものを活用しながら、ollamaでローカル埋め込みサポートを達成するために必要な最小限のものを追加し、Open AIおよびAzureの既存の動作を維持する場合、マージを目的としてPRを必ずレビューします。

「いいね!」 2

近日公開
埋め込みを伴うワークフローをサポートする、より多くの機能が追加されます:

OpenAI API 互換性:/v1/embeddings OpenAI 互換エンドポイントのサポート

近日公開が、この急速に進化する分野では通常すぐに実現することを考えると、私のユースケースを解決するために待つ価値のあることかもしれませんか?

私たちのインスタンスは 20 年前の情報源ですが、情報漏洩も大きな懸念事項であるため、ローカルでのテストを希望しています。

「いいね!」 1

APIエンドポイントの互換性を解決すると思われるOllamaのPRを見つけました 。これをより深く理解する必要がありますが、私は正しい方向に向かっていますか?

「いいね!」 1

現在、カスタム埋め込みモデルの設定がないため、これは実現不可能です。

ローカルで実行する場合、ダウンロードしたollama用のモデルにハードコーディングして試すことができます。

さらに考えると、埋め込みテーブルの定義の次元がOpenAIの小型モデルの標準(非常に大きい)に設定されているという別の問題に直面するでしょう…おそらく、それをどのように克服できるか考えてみてください…

「いいね!」 1

チャットボット 1.2。AI搭載のユーザーフィールド収集を実験的機能として導入します。

ユーザーが現在空白のオプションのユーザーフィールドを持っている場合、この設定を有効にすると、ボットがユーザーにその情報の入力を求め始めます。未完了のユーザーフィールドを順番に処理し、完了したら通常の動作に戻ります。

image

(応答が遅くなり申し訳ありません - これは開発環境で録画されました)

注:この機能は以下のみをサポートします。

  • テキスト
  • ドロップダウン
  • 確認

複数選択はまだサポートされていません。
フィールドは_オプション_である必要があります。
ユーザーフィールドの順序が優先順位を決定します。

「いいね!」 6

Chatbot 1.3 リリース :tada:

  • FEATURE: トークンによるクォータ管理オプションを追加
    • 新しい設定 chatbot_quota_basis でオプトインできます。オプトインしない場合は、クエリ数による管理が維持されます。
    • デフォルトでは、クォータは開始時の最大クォータ(信頼レベルの設定に基づいています)からカウントダウンされるという点が唯一の違いです。
  • FEATURE: DALL-EのようなAPI呼び出しのコストをユーザー消費に含める
    • トークンベースのみ
    • API機能のトークンコストに影響を与えるためのさまざまな新しい設定
  • FEATURE: ユーザーが残りのクォータを確認できる機能を追加

Chatbot には、使用クォータを強制する機能が常に含まれていました。

本日、これがより洗練されました!

Chatbot は、トークンによる使用量を追跡し、強制できるようになりました。

API の呼び出しにコストを設定して、使いすぎを防ぐことができます。これにより、たとえば画像生成へのアクセスを許可することについて、あまり心配する必要がなくなります。

トークン追跡はオプトインです。トークン追跡に変更する場合は、各信頼レベルのクォータを増やすことを確認してください。値は数桁大きくなる必要があります。実験してください。

ただし、クエリによる追跡がわずかに変更されました。最大許容クエリ数にリセットされ、ゼロまでカウントダウンされるようになります。

グローバルクォータリセットジョブを一度だけ実行することを検討してください。これにより、全員が満クォータから開始されるようになります。これは一度限りです!

Sidekiq の /sidekiq/scheduler で:

トリガーボタンを押してください。

いずれの場合も、ユーザーは残りのクォータを尋ねることができるようになりました。

注:既知の問題:この質問がリセットジョブが実行される前に初めて尋ねられた場合、回答が少し奇妙になる可能性があります!リセットジョブの実行に関係なく、2回目にこの質問をすると正常に機能するはずです。

「いいね!」 4

ロバートさん、

ボットに尽力していただき感謝しておりますが、チャットで呼び出そうとすると、ログに以下のエラーが表示されます。

image

アンインストール/再インストールせずに、何か考えられることはありますか?

「いいね!」 1