Fazendo o discourse ai funcionar com o ollama localmente

Suporte
2

Também estou tentando fazer isso funcionar com o ollama, parece que a API usada pelo plugin Discourse AI não é compatível com o Ollama e quaisquer configurações que eu altere não mudam a solicitação da API.

É isso que funciona com o ollama:

curl http://192.168.1.2:11434/api/generate -d '{"model": "llama3.2", "prompt": "Por que o céu é azul?"}'

E acima parece ser o único tipo de solicitação que o plugin está tentando. por exemplo:

curl http://192.168.1.2:11434/ \
                           -X POST \
                           -H 'Content-Type: application/json' \
                           -d '{"inputs":"<s>[INST] Qual é o seu condimento favorito? [/INST] Bem, sou bastante adepto de um bom esguicho de suco de limão fresco. Ele adiciona a quantidade certa de sabor cítrico a qualquer coisa que eu esteja cozinhando na cozinha!</s> [INST] Você tem receitas de maionese? [/INST]","parameters":{"max_new_tokens":500, "temperature":0.5,"top_p": 0.9}}'

O chatbot de IA supostamente suporta ollama, mas também não consigo obter uma resposta.

Então, sim, qualquer pessoa que tenha conseguido fazer isso funcionar com ollama, por favor, poste quais configurações você usou!

2 curtidas