Discourse AI mit Ollama lokal zum Laufen bringen

Unterstützung
2

Ich versuche auch, dies mit Ollama zum Laufen zu bringen. Es scheint, dass die vom Discourse AI-Plugin verwendete API nicht mit Ollama kompatibel ist und alle Einstellungen, die ich ändere, die API-Anfrage nicht ändern.

Dies ist, was mit Ollama funktioniert:

curl http://192.168.1.2:11434/api/generate -d '{\
                     \"model\": \"llama3.2\",\
                     \"prompt\": \"Why is the sky blue?\"\
                   }'

Und oben scheint die einzige Art von Anfrage zu sein, die das Plugin versucht. z.B.

curl http://192.168.1.2:11434/ \
                           -X POST \
                           -H 'Content-Type: application/json' \
                           -d '{\"inputs\":\"\u003cs\u003e[INST] What is your favourite condiment? [/INST] Well, Im quite partial to a good squeeze of fresh lemon juice. It adds just the right amount of zesty flavour to whatever Im cooking up in the kitchen!\u003c/s\u003e [INST] Do you have mayonnaise recipes? [/INST]\",\"parameters\":{\"max_new_tokens\":500, \"temperature\":0.5,\"top_p\": 0.9}}'

Der KI-Chatbot unterstützt angeblich Ollama, aber ich kann auch keine Antwort von ihm bekommen.

Also ja, jeder, der dies mit Ollama zum Laufen gebracht hat, bitte posten Sie, welche Einstellungen Sie verwendet haben!

2 „Gefällt mir“