تشغيل Discourse AI مع Ollama محليًا

الدعم
2

أحاول أيضًا جعل هذا يعمل مع ollama، يبدو أن واجهة برمجة التطبيقات (API) التي يستخدمها المكوّن الإضافي Discourse AI غير متوافقة مع Ollama وأي إعدادات أقوم بتغييرها لا تغير طلب واجهة برمجة التطبيقات (API).

هذا ما يعمل مع ollama:

curl http://192.168.1.2:11434/api/generate -d '{\
                     \"model\": \"llama3.2\",\
                     \"prompt\": \"Why is the sky blue?\"\
                   }'

ويبدو أن ما ورد أعلاه هو النوع الوحيد من الطلبات التي يحاولها المكوّن الإضافي. على سبيل المثال:

curl http://192.168.1.2:11434/ \
                           -X POST \
                           -H 'Content-Type: application/json' \
                           -d '{\"inputs\":\"\u003cs\u003e[INST] What is your favourite condiment? [/INST] Well, Im quite partial to a good squeeze of fresh lemon juice. It adds just the right amount of zesty flavour to whatever Im cooking up in the kitchen!\u003c/s\u003e [INST] Do you have mayonnaise recipes? [/INST]\",\"parameters\":{\"max_new_tokens\":500, \"temperature\":0.5,\"top_p\": 0.9}}'

من المفترض أن يدعم روبوت الدردشة بالذكاء الاصطناعي ollama ولكنني غير قادر على الحصول على رد منه أيضًا.

لذا، أي شخص نجح في جعل هذا يعمل مع ollama، يرجى نشر الإعدادات التي استخدمتها!

إعجابَين (2)