Discourse AI mit Ollama lokal zum Laufen bringen

Unterstützung
5

Cool. Gibt es irgendwo eine Anleitung, der wir folgen können, wie man sie implementiert?

Ich interessiere mich mehr für die Zusammenfassung und andere Funktionen als für den Chatbot.

ETA: Diese Konfiguration funktioniert nicht:

Das Bild zeigt einen Konfigurationsbildschirm für ein KI-Modell namens „olllama“, das von OpenAI gehostet wird, mit ausgefüllten Feldern für Modell-ID, Anbieter, URL und API-Schlüssel sowie Optionen zum Tokenisieren von Prompts und zum Aktivieren der Visualisierung. (Beschriftet von KI)
Das Bild zeigt einen Konfigurationsbildschirm für ein KI-Modell namens „olllama“, das von OpenAI gehostet wird, mit ausgefüllten Feldern für Modell-ID, Anbieter, URL und API-Schlüssel sowie Optionen zum Tokenisieren von Prompts und zum Aktivieren der Visualisierung. (Beschriftet von KI)482×1114 56.2 KB

(Ich habe hier die IP-Adresse meines Hosts geschwärzt).

Was passiert, ist, dass ich einen Internal Server Error erhalte, wenn ich auf „Run Test“ klicke.

Unter /logs sehe ich:

NameError (undefined local variable or method `tokenizer' for an instance of DiscourseAi::Completions::Dialects::ChatGpt)
app/controllers/application_controller.rb:427:in `block in with_resolved_locale'
app/controllers/application_controller.rb:427:in `with_resolved_locale'
lib/middleware/omniauth_bypass_middleware.rb:35:in `call'
lib/middleware/csp_script_nonce_injector.rb:12:in `call'
lib/middleware/anonymous_cache.rb:409:in `call'
lib/middleware/csp_script_nonce_injector.rb:12:in `call'
config/initializers/008-rack-cors.rb:14:in `call'
config/initializers/100-quiet_logger.rb:20:in `call'
config/initializers/100-silence_logger.rb:29:in `call'
lib/middleware/enforce_hostname.rb:24:in `call'
lib/middleware/processing_request.rb:12:in `call'
lib/middleware/request_tracker.rb:385:in `call'

Dies geschieht unabhängig vom ausgewählten Tokenizer. Ich teste dies auf 3.5.0beta1-dev (c1ee4e120e).

1 „Gefällt mir“