Discourse AI を Ollama とローカルで連携させる

サポート
2

ollamaでもこれを機能させようとしていますが、Discourse AIプラグインで使用されているAPIはOllamaと互換性がないようで、設定を変更してもAPIリクエストは変更されません。

ollamaで機能するのは次のとおりです。

curl http://192.168.1.2:11434/api/generate -d '{\
                     \"model\": \"llama3.2\",\
                     \"prompt\": \"Why is the sky blue?\"\
                   }'

そして、上記はプラグインが試みている唯一のリクエストタイプのように見えます。つまり、

curl http://192.168.1.2:11434/ \
                           -X POST \
                           -H 'Content-Type: application/json' \
                           -d '{\"inputs\":\"\u003cs\u003e[INST] What is your favourite condiment? [/INST] Well, Im quite partial to a good squeeze of fresh lemon juice. It adds just the right amount of zesty flavour to whatever Im cooking up in the kitchen!\u003c/s\u003e [INST] Do you have mayonnaise recipes? [/INST]\",\"parameters\":{\"max_new_tokens\":500, \"temperature\":0.5,\"top_p\": 0.9}}'

AIチャットボットはOllamaをサポートしているはずですが、どちらからも応答を得ることができません。

それで、誰かがこれをollamaで機能させたことがあるなら、使用した設定を投稿してください！

「いいね！」 2