Tenho vários modelos LLM de código aberto rodando no serviço Hugging Face Inference Endpoint (essencialmente AWS)…
Para todos os modelos que testei (llama, phi, gemma, etc)… consigo me conectar a partir da página de configurações do Discourse LLM, mas a inferência não funciona. Aqui está o erro:
“Tentando contatar o modelo retornou este erro: Falha ao desserializar o corpo JSON para o tipo de destino: campo ausente inputs na linha 1 coluna 163”
Faz mais de um ano desde que tentei a API deles pela última vez. Ela é compatível com OpenAI hoje em dia? Se sim, você pode tentar definir Provider como OpenAI e apontar para o endpoint deles.
mas isso não funcionou. .. mesmos tipos de erros.