로컬에서 Ollama와 Discourse AI 연동 방법

지원
2

저도 ollama와 함께 작동하도록 시도해 보고 있습니다. Discourse AI 플러그인이 사용하는 API가 Ollama과 호환되지 않는 것 같고, 설정을 어떻게 변경해도 API 요청이 바뀌지 않습니다.

ollama에서 정상적으로 작동하는 요청은 다음과 같습니다:

curl http://192.168.1.2:11434/api/generate -d '{
                     "model": "llama3.2",
                     "prompt": "Why is the sky blue?"
                   }'

그리고 위와 같은 요청 유형이 플러그인이 시도하는 유일한 것 같습니다. 즉,

curl http://192.168.1.2:11434/ \
                           -X POST \
                           -H 'Content-Type: application/json' \
                           -d '{"inputs":"<s>[INST] What is your favourite condiment? [/INST] Well, Im quite partial to a good squeeze of fresh lemon juice. It adds just the right amount of zesty flavour to whatever Im cooking up in the kitchen!</s> [INST] Do you have mayonnaise recipes? [/INST]","parameters":{"max_new_tokens":500, "temperature":0.5,"top_p": 0.9}}'

AI 챗봇은 ollama을 지원한다고 하지만, 이쪽에서도 응답을 받아낼 수 없습니다.

그러니까, 혹시 ollama과 함께 작동하게 만든 분이 있다면 어떤 설정을 사용했는지 공유해 주세요!