Far funzionare Discourse AI con Ollama localmente

Supporto
2

Sto anche cercando di far funzionare questo con ollama, sembra che l’API utilizzata dal plugin Discourse AI non sia compatibile con Ollama e qualsiasi impostazione io modifichi non cambia la richiesta API.

Questo è ciò che funziona con ollama:

curl http://192.168.1.2:11434/api/generate -d '{"model": "llama3.2", "prompt": "Perché il cielo è blu?"}'

E sopra sembra essere l’unico tipo di richiesta che il plugin tenta. Ad esempio:

curl http://192.168.1.2:11434/ \
                           -X POST \
                           -H 'Content-Type: application/json' \
                           -d '{"inputs":"<s>[INST] Qual è il tuo condimento preferito? [/INST] Beh, sono piuttosto affezionato a una buona spruzzata di succo di limone fresco. Aggiunge la giusta quantità di sapore acidulo a tutto ciò che cucino in cucina!</s> [INST] Hai ricette di maionese? [/INST]","parameters":{"max_new_tokens":500, "temperature":0.5,"top_p": 0.9}}'

Il chatbot AI è presuntamente compatibile con ollama ma non riesco a ottenere una risposta nemmeno da quello.

Quindi, chiunque abbia ottenuto questo risultato con ollama, per favore posti le impostazioni che ha utilizzato!

2 Mi Piace