Hugging Face Inference Endpoint 서비스(실질적으로 AWS)에서 여러 오픈소스 LLM 모델을 실행 중입니다.
테스트한 모든 모델(llama, phi, gemma 등)의 경우 Discourse LLM 설정 페이지에서 연결은 가능하지만 추론(inference)이 작동하지 않습니다. 오류 메시지는 다음과 같습니다:
“모델에 연결을 시도했지만 다음 오류가 반환되었습니다: Failed to deserialize the JSON body into the target type: missing field inputs at line 1 column 163”
무엇이 잘못된 것일까요!? 감사합니다..
Hugging Face에서 본 화면:
Discourse에서 본 화면:
Falco
(Falco)
2
그들의 API를 마지막으로 사용해 본 지 1년이 넘었습니다. 요즘은 OpenAI와 호환되나요? 호환된다면 Provider를 OpenAI로 설정하고 해당 엔드포인트를 지정해 보실 수 있습니다.
Discourse의 LLM 설정 화면에서 제공되는 대부분의 제공업체를, OpenAI를 포함해 시도해 보았습니다.
결과는 “Failed to deserialize the JSON body into the target type” 오류 또는 "Internal Server Error"가 발생했습니다.
또한 HF 엔드포인트 서비스에서 실제 OpenAI 모델(GPT2! :)도 시도해 보았지만, 이것도 작동하지 않았습니다. .. 같은 유형의 오류가 발생했습니다.
