J’ai plusieurs modèles LLM open source qui fonctionnent sur le service Hugging Face Inference Endpoint (essentiellement AWS)…
Pour tous les modèles que j’ai testés (llama, phi, gemma, etc.), je suis capable de me connecter depuis la page des paramètres Discourse LLM, mais l’inférence ne fonctionne pas. Voici l’erreur :
“Essayer de contacter le modèle a renvoyé cette erreur : Échec de la désérialisation du corps JSON dans le type cible : champ inputs manquant à la ligne 1 colonne 163”
Cela fait plus d’un an que je n’ai pas essayé leur API. Est-elle compatible avec OpenAI maintenant ? Si oui, vous pouvez essayer de définir Provider sur OpenAI et de pointer vers leur point de terminaison.
J’ai essayé la plupart des fournisseurs disponibles sur l’écran de configuration de Discourse LLM, y compris OpenAI…
Ils donnent soit l’erreur « Échec de la désérialisation du corps JSON dans le type cible », soit « Erreur interne du serveur ».
J’ai également essayé un véritable modèle OpenAI sur le service de point de terminaison HF (GPT2 ! mais cela n’a pas fonctionné… mêmes types d’erreurs.
mais cela n’a pas fonctionné… mêmes types d’erreurs.