Ich versuche, ein benutzerdefiniertes LLM zum Discourse AI-Plugin hinzuzufügen. Wenn ich auf die Schaltfläche „Test“ klicke, erhalte ich „Interner Serverfehler“.
Gibt es eine Möglichkeit, dies zu debuggen oder eine bessere Fehlermeldung zu erhalten? Wenn ich in das Docker-Image gehe und /v1/models aufrufe, kann ich dies korrekt abrufen.
Der Modellname lautet „models/Meta-Llama-3-8B-Instruct.Q6_K.gguf“ und ich bin mir nicht sicher, ob es Probleme mit Sonderzeichen geben könnte.
Ein weiterer Versuch ergibt: Beim Versuch, das Modell zu kontaktieren, wurde dieser Fehler zurückgegeben: {\"error\":{\"code\":404,\"message\":\"File Not Found\",\"type\":\"not_found_error\"}}
Es wird jedoch nicht angezeigt, welche URL/welches Modell versucht wird abzurufen, was bei der Fehlersuche helfen könnte.
Die gleichen Einstellungen wurden in Open WebUI eingefügt, das sowohl die LLM-Endpunkte kontaktieren und korrekt inferieren konnte.
Welchen Inferenzserver verwenden Sie? vLLM?
Fügen Sie bei der Konfiguration der URL den Pfad /v1/chat/completions am Ende hinzu.
Das war das Problem. Beachten Sie, dass es in LLM-Software üblich ist, nur bis zum Endpunkt-URL /v1 einzuschließen. Die Auswahl von /chat/completion usw. wird dann normalerweise von der Software hinzugefügt.
Ich versuche, einen auf dem Localhost laufen zu lassen, um ihn zu testen. Daher habe ich die URL wie folgt angegeben: „http://172.17.0.1:8081/v1/chat/completions“ und erhalte einen internen Serverfehler. Ich kann „http://172.17.0.1:8081/v1/models“ vom Discourse-Docker-Container aus aufrufen, sodass die Konnektivität funktioniert.
Gibt es andere Fallstricke (z. B. erlaubt Discourse Nicht-HTTPS und beliebige Ports für den LLM-Endpunkt)?
Beides sollte funktionieren.
Welchen Fehler sehen Sie unter /logs?
Ah. Ich wusste nichts von /logs!
NameError (undefined local variable or method 'tokenizer' for an instance of DiscourseAi::Completions::Dialects::ChatGpt) app/controllers/application_controller.rb:424:in 'block in with_resolved_local
Hmm. Das, das funktioniert, ist für ein Modell, das ich selbst quantisiert habe. Ich werde versuchen, die anderen zu quantisieren, um zu sehen, ob es sich um ein Problem mit dem Modellformat handelt.
Hat es jemand geschafft, die DeepSeek-API zum Laufen zu bringen? Ich versuche herauszufinden, die richtige Anweisung, um sie mit Discourse zum Laufen zu bringen.
Ich habe sie in Open WebUI und anderen Clients zum Laufen gebracht.
Hier gibt es ein Thema dazu