Ich habe mehrere Open-Source-LLM-Modelle auf dem Hugging Face Inference Endpoint-Dienst (im Wesentlichen AWS) laufen.
Für alle getesteten Modelle (llama, phi, gemma usw.) kann ich mich von der Discourse LLM-Einstellungsseite aus verbinden, aber die Inferenz funktioniert nicht. Hier ist der Fehler:
„Der Versuch, das Modell zu kontaktieren, führte zu diesem Fehler: Fehlende Feld
inputsin Zeile 1 Spalte 163“
Was mache ich falsch!? Vielen Dank..
Ansicht von Hugging Face:
Ansicht von Discourse:
Es ist über ein Jahr her, seit ich ihre API das letzte Mal ausprobiert habe. Ist sie heutzutage OpenAI-kompatibel? Wenn ja, können Sie versuchen, Provider auf OpenAI zu setzen und auf deren Endpunkt zu verweisen.
Ich habe die meisten Anbieter ausprobiert, die auf dem Discourse LLM-Einrichtungsbildschirm verfügbar sind, einschließlich OpenAI.
Entweder erhalten sie die Fehlermeldung „Fehler beim Deserialisieren des JSON-Bodys in den Zieltyp“ oder „Interner Serverfehler“.
Ich habe auch ein echtes OpenAI-Modell auf dem HF-Endpunktdienst ausprobiert (GPT2! 
aber das hat nicht funktioniert. .. die gleichen Fehler.
