让Discourse AI在本地与Ollama协作

支持
2

我也正尝试让它与 ollama 一起工作，看起来 Discourse AI 插件使用的 API 与 Ollama 不兼容，并且我更改的任何设置都不会改变 API 请求。

以下是与 ollama 一起工作的示例：

curl http://192.168.1.2:11434/api/generate -d '{\
                     \"model\": \"llama3.2\",\
                     \"prompt\": \"Why is the sky blue?\"\
                   }'

而上面似乎是该插件尝试的唯一一种请求。例如：

curl http://192.168.1.2:11434/ \
                           -X POST \
                           -H 'Content-Type: application/json' \
                           -d '{\"inputs\":\"\u003cs\u003e[INST] What is your favourite condiment? [/INST] Well, Im quite partial to a good squeeze of fresh lemon juice. It adds just the right amount of zesty flavour to whatever Im cooking up in the kitchen!\u003c/s\u003e [INST] Do you have mayonnaise recipes? [/INST]\",\"parameters\":{\"max_new_tokens\":500, \"temperature\":0.5,\"top_p\": 0.9}}'

AI 聊天机器人据称支持 ollama，但我也无法获得任何响应。

所以，任何已经成功使用 ollama 的人，请发布你使用的设置！

2 个赞