Error interno del servidor de Discourse AI con ollama local

Error
1

Hola. Ya he leído Local Ollama is not working with the Plugin y Getting discourse ai to work with ollama locally, y tengo el siguiente entorno en mi app.yml

  DISCOURSE_ALLOWED_INTERNAL_HOSTS: "localhost|127.0.0.1|172.17.0.1"

Puedo confirmarlo con el siguiente comando:

> sudo docker exec -it app sh -lc 'env | grep INTERNAL'
DISCOURSE_ALLOWED_INTERNAL_HOSTS=localhost|127.0.0.1|172.17.0.1

Y puedo obtener respuesta del LLM.

> sudo docker exec -it app sh -lc 'curl http://172.17.0.1:11434'
Ollama is running%

Esta es la configuración que estoy usando, pero no consigo que funcione.

image
image388×1107 52.6 KB

La prueba falla con Internal Server Error, y puedo ver el error en /logs

NameError (variable o método local no definido `tokenizer' para una instancia de DiscourseAi::Completions::Dialects::ChatGpt)
app/controllers/application_controller.rb:440:in `block in with_resolved_locale'

¿Qué más debo hacer para que funcione? Gracias.

1 me gusta
2

He descubierto que el modelo era el problema. Usar qwen2.5:3b con Groq como proveedor y QwenTokenizer hace que la prueba sea exitosa.

1 me gusta