Настройка работы Discourse AI с Ollama локально

Поддержка
2

Я тоже пытаюсь заставить это работать с Ollama. Похоже, что API, используемый плагином Discourse AI, несовместим с Ollama, и любые изменения настроек не влияют на формат запроса к API.

Вот команда, которая работает с Ollama:

curl http://192.168.1.2:11434/api/generate -d '{
                     "model": "llama3.2",
                     "prompt": "Why is the sky blue?"
                   }'

И, похоже, плагин пытается отправить только запрос такого типа, то есть:

curl http://192.168.1.2:11434/ \
                           -X POST \
                           -H 'Content-Type: application/json' \
                           -d '{"inputs":"<s>[INST] What is your favourite condiment? [/INST] Well, Im quite partial to a good squeeze of fresh lemon juice. It adds just the right amount of zesty flavour to whatever Im cooking up in the kitchen!</s> [INST] Do you have mayonnaise recipes? [/INST]","parameters":{"max_new_tokens":500, "temperature":0.5,"top_p": 0.9}}'

Чат-бот с поддержкой ИИ, якобы, совместим с Ollama, но мне тоже не удалось получить от него ответ.

Так что, если кто-то уже заставил это работать с Ollama, пожалуйста, поделитесь использованными настройками!