新しいLLM追加のデバッグ

サポート
1

Discourse AI プラグインにカスタム LLM を追加しようとしています。「テスト」ボタンを押すと、「内部サーバーエラー」が発生します。

これをデバッグする方法や、より詳細なエラーメッセージを取得する方法はありますか？ Docker イメージに入り、/v1/models を curl すると、正しく取得できます。

モデル名は「models/Meta-Llama-3-8B-Instruct.Q6_K.gguf」で、特殊文字に問題があるかどうか不明です。

2

別のものを試すと、次のエラーが表示されます: モデルへの連絡を試みたところ、次のエラーが返されました: {\"error\":{\"code\":404,\"message\":\"File Not Found\",\"type\":\"not_found_error\"}}

しかし、デバッグに役立つ可能性のある、どのURL/モデルにアクセスしようとしているのかが表示されません。

同じ設定をOpen WebUIに貼り付けたところ、両方のLLMエンドポイントに連絡し、正しく推論することができました。

3

どの推論サーバーを使用していますか？ vLLMですか？

URLを設定する際は、末尾に /v1/chat/completions パスを追加してください。

4

これが問題でした。LLMソフトウェアでは、エンドポイントURLとして /v1 までのみを含めるのが慣例となっています。通常、/chat/completion などの選択はソフトウェアによって追加されます。

5

ローカルホストでテスト用に実行しようとしているため、URLを「http://172.17.0.1:8081/v1/chat/completions」に設定しましたが、内部サーバーエラーが発生しました。ディスコースのDockerコンテナから「http://172.17.0.1:8081/v1/models」にcurlすることはできるため、接続は機能しています。

他に注意すべき点（例：ディスコースはLLMエンドポイントに非HTTPSおよび任意のポートを許可しますか）はありますか？

6

どちらも機能するはずです。

/logs でどのようなエラーが表示されますか？

7

ああ。/logs のことは知りませんでした！

NameError (undefined local variable or method 'tokenizer' for an instance of DiscourseAi::Completions::Dialects::ChatGpt) app/controllers/application_controller.rb:424:in 'block in with_resolved_local

うーん。うまくいく方は、自分で量子化したモデル用です。他のモデルも量子化して、モデル形式の問題かどうか試してみます。

8

DeepSeek API を動作させることができた方はいらっしゃいますか？ Discourse で動作させるための正しい呪文を見つけようとしています。

Open WebUI やその他のクライアントでは動作しています。

9

それについてのトピックがあります

「いいね！」 2