Discourse AI con ollama locale Errore interno del server

Bug
1

Ciao. Ho letto Local Ollama is not working with the Plugin e Getting discourse ai to work with ollama locally e ho il seguente ambiente nel mio app.yml

  DISCOURSE_ALLOWED_INTERNAL_HOSTS: "localhost|127.0.0.1|172.17.0.1"

Posso confermarlo con il seguente comando:

> sudo docker exec -it app sh -lc 'env | grep INTERNAL'
DISCOURSE_ALLOWED_INTERNAL_HOSTS=localhost|127.0.0.1|172.17.0.1

E posso ricevere una risposta dall’LLM.

> sudo docker exec -it app sh -lc 'curl http://172.17.0.1:11434'
Ollama is running%

Questa è la configurazione che sto utilizzando, ma non riesco a farla funzionare.

image
image388×1107 52.6 KB

Il test fallisce con Internal Server Error e vedo l’errore in /logs

NameError (variabile locale o metodo non definito `tokenizer' per un'istanza di DiscourseAi::Completions::Dialects::ChatGpt)
app/controllers/application_controller.rb:440:in `block in with_resolved_locale'

Cos’altro dovrei fare perché funzioni? Grazie.

2

Ho scoperto che il problema era il modello. Usare qwen2.5:3b con Groq come provider e QwenTokenizer fa sì che il test abbia successo.

1 Mi Piace