Haciendo que Discourse AI funcione con ollama localmente

Soporte
2

También estoy intentando que esto funcione con ollama, parece que la API que utiliza el plugin Discourse AI no es compatible con Ollama y cualquier configuración que cambie no modifica la solicitud de la API.

Esto es lo que funciona con ollama:

curl http://192.168.1.2:11434/api/generate -d '{"model": "llama3.2", "prompt": "Why is the sky blue?"}'

Y arriba parece ser el único tipo de solicitud que intenta el plugin. por ejemplo:

curl http://192.168.1.2:11434/ \
                           -X POST \
                           -H 'Content-Type: application/json' \
                           -d '{"inputs":"<s>[INST] What is your favourite condiment? [/INST] Well, Im quite partial to a good squeeze of fresh lemon juice. It adds just the right amount of zesty flavour to whatever Im cooking up in the kitchen!</s> [INST] Do you have mayonnaise recipes? [/INST]","parameters":{"max_new_tokens":500, "temperature":0.5,"top_p": 0.9}}'

El chatbot de IA supuestamente soporta ollama, pero tampoco puedo obtener una respuesta.

Así que sí, ¡cualquiera que haya conseguido que esto funcione con ollama, por favor publique qué configuración utilizó!

2 Me gusta