Ho diversi modelli LLM open source in esecuzione sul servizio Hugging Face Inference Endpoint (essenzialmente AWS)…
Per tutti i modelli che ho testato (llama, phi, gemma, ecc)… sono in grado di connettermi dalla pagina delle impostazioni di Discourse LLM, ma l’inferenza non funziona. ecco l’errore:
“Tentativo di contattare il modello ha restituito questo errore: Impossibile deserializzare il corpo JSON nel tipo di destinazione: campo mancante inputs alla riga 1 colonna 163”
È passato più di un anno dall’ultima volta che ho provato la loro API. È compatibile con OpenAI al giorno d’oggi? Se sì, puoi provare a impostare Provider su OpenAI e puntare al loro endpoint.
ma non ha funzionato. .. lo stesso tipo di errori.