Faire fonctionner Discourse AI avec Ollama localement

Soutien
2

J’essaie également de faire fonctionner cela avec ollama. Il semble que l’API utilisée par le plugin Discourse AI ne soit pas compatible avec Ollama et que tous les paramètres que je modifie ne changent pas la requête API.

Voici ce qui fonctionne avec ollama :

curl http://192.168.1.2:11434/api/generate -d '{\
                     \"model\": \"llama3.2\",\
                     \"prompt\": \"Pourquoi le ciel est-il bleu ?\"\
                   }'

Et ci-dessus semble être le seul type de requête que le plugin tente. Par exemple :

curl http://192.168.1.2:11434/ \
                           -X POST \
                           -H 'Content-Type: application/json' \
                           -d '{\"inputs\":\"\u003cs\u003e[INST] Quel est votre condiment préféré ? [/INST] Eh bien, j'aime beaucoup un bon filet de jus de citron frais. Il ajoute juste la bonne quantité de saveur acidulée à tout ce que je cuisine dans la cuisine ! \u003c/s\u003e [INST] Avez-vous des recettes de mayonnaise ? [/INST]\",\"parameters\":{\"max_new_tokens\":500, \"temperature\":0.5,\"top_p\": 0.9}}'

Le chatbot IA est censé prendre en charge ollama, mais je n’arrive pas non plus à obtenir de réponse.

Donc, oui, quiconque a réussi à faire fonctionner cela avec ollama, veuillez publier les paramètres que vous avez utilisés !

2 « J'aime »