Erro interno do servidor do Discourse AI com ollama local

Bug
1

Olá. Eu li Local Ollama is not working with the Plugin e Getting discourse ai to work with ollama locally e tenho o seguinte ambiente no meu app.yml

  DISCOURSE_ALLOWED_INTERNAL_HOSTS: "localhost|127.0.0.1|172.17.0.1"

Posso confirmar isso com o seguinte comando:

> sudo docker exec -it app sh -lc 'env | grep INTERNAL'
DISCOURSE_ALLOWED_INTERNAL_HOSTS=localhost|127.0.0.1|172.17.0.1

E consigo obter resposta do LLM.

> sudo docker exec -it app sh -lc 'curl http://172.17.0.1:11434'
Ollama is running%

Esta é a configuração que estou usando, mas não consigo fazê-la funcionar.

image
image388×1107 52.6 KB

O teste falha com Internal Server Error, e eu consigo ver o erro em /logs

NameError (variável local ou método `tokenizer' não definido para uma instância de DiscourseAi::Completions::Dialects::ChatGpt)
app/controllers/application_controller.rb:440:in `block in with_resolved_locale'

O que mais devo fazer para que funcione? Obrigado.

1 curtida
2

Descobri que o modelo era o problema. Usar qwen2.5:3b com Groq como provedor e QwenTokenizer faz o teste ser bem-sucedido.

1 curtida