Also, ich habe Berichte im Forum erhalten (und es auch selbst erlebt), dass die KI einfach nicht fertig schreibt. Anfangs dachte ich, das liege daran, dass es sich eben um ein Modell handelt, und habe nicht weiter darüber nachgedacht… außer dass ich heute nachgesehen habe und herausfand, dass das Modell zwar vollständig antwortet, aber irgendetwas in der UI den Text einfach abschneidet. Das passiert auch bei Automatisierungs-Posts. Ich habe einen erstellt, um eine wöchentliche Zusammenfassung des Forums zu erstellen, und er wird einfach nicht „fertig
Ich habe einige Probleme genau um dieses Problem herum behoben in:
Konkret bestand die konsistente Reproduktion des Problems darin, 2 Konversationen zu führen und zwischen ihnen hin und her zu wechseln.
Sie sind … fast … bei diesem Commit, der Commit sollte Mitte dieser Woche veröffentlicht werden.
Ich wollte nur bestätigen: Wenn Sie die Seite neu laden, nachdem alles erledigt ist, sehen Sie dann alles korrekt angezeigt?
Leider ist das nicht der Fall, es ist so, als wäre die Nachricht abgeschnitten gesendet worden und das war’s, obwohl das Debugging eindeutig zeigt, dass die Antwort vollständig war… Ich befürchte also, dass dies ein anderes Problem sein könnte? Es fing ungefähr am 25. November an, vielleicht ein paar Tage früher? Ein anderer Einfall, den ich habe, ist, dass es irgendwie zu passieren scheint, wenn dem Gespräch ein Titel gegeben wird, aber ich könnte mich da irren oder es ist nur ein Zufall.
Danke, tut mir leid, ich dachte, du würdest von uns gehostet werden
Ich wollte anbieten, mich einzuloggen und bei der Untersuchung zu helfen.
Kannst du in /logs nachsehen, ob dort Fehler sind? Es sieht so aus, als würdest du den OpenAI-Kompatibilitäts-Endpunkt für Gemini verwenden. Kannst du den Gemini-Endpunkt versuchen, um zu sehen, ob die Ergebnisse anders sind?
Nichts Besonderes fällt mir in den Protokollen auf
(Entschuldigung für die Screenshots vom Telefon, ich war den ganzen Tag unterwegs wegen meines Geburtstags, aber das hier kann ich nicht ignorieren hahaha)
Das wusste ich nicht, dass ich diesen verwende, aber das passiert bei allen Modellen … sogar bei ChatGPT-Modellen oder sogar bei gemini3. Ich verwende jedoch das AI Gateway von Cloudflare. Aber ich habe es auch ohne getestet und das gleiche Ergebnis
Edit:
Bezüglich des Kompatibilitätsendpunkts… ich bin mir nicht sicher, ob ich es falsch mache, aber ich glaube nicht, dass ich den Kompatibilitätsendpunkt aufrufe. Ich weiß, dass er auf /openai endet, aber das ist bei mir nicht der Fall. Ich teile die Konfiguration, die ich habe, falls sie einen Hinweis gibt.
Außerdem habe ich das Gefühl, dass dies auch angefangen haben könnte, als ich Kontingente aktiviert habe, aber ich unterliege ihnen nicht, und dies geschieht bei Modellen oder Assistenten ohne Kontingent. Es könnte also auch reiner Zufall sein
Diese Daten, auf die Sie verlinkt haben, sehen für mich nicht nach Anbieter Google-Daten aus, sondern nach Anbieter OpenAI-Daten. Können Sie versuchen, diese umzuschalten und zu sehen, was passiert?
Leider schlägt es fehl, wenn ich es auf den Anbieter OpenAI setze (kann „Test nicht ausführen“), daher funktioniert der Anbieter Google definitiv. Ich werde das AI Gateway von Cloudflare entfernen, um „roh“ zu testen, aber was mich überrascht, ist, dass die Daten trotzdem vollständig von Discourse empfangen werden, sonst wären die von mir geposteten Antwortdaten nicht sichtbar. Ich erhalte diese, wenn ich auf die „Info“-Schaltfläche klicke und die Antwort kopiere.
Edit:
Der Wechsel vom AI Gateway von Cloudflare zur API direkt scheint gute Ergebnisse zu bringen. Ich werde die Überwachung und das Testen fortsetzen.
Hallo @sam, ein kleines Status-Update: bisher alles gut. Die Anfragen, die ich an den Bot gestellt habe und die früher fehlgeschlagen sind, sind heute bei mir nicht fehlgeschlagen. Es scheint, dass aus irgendeinem Grund das AI-Gateway von Cloudflare der Übeltäter war, aber ich kann nicht verstehen, warum… Ich werde weiter prüfen und dir Bescheid geben, falls ich sehe, dass es wieder fehlschlägt.
Letztes Update zu dieser Angelegenheit:
Nachdem ich das AI Gateway aus den Modellen entfernt hatte, kann ich mit Sicherheit sagen, dass das Problem behoben ist. Warum es anfing, weiß ich nicht.
Aber vor ein paar Minuten schlug eine wöchentliche Automatisierung, die eine Zusammenfassung der Woche veröffentlichte, mit demselben Abbruch fehl. Mir wurde klar, dass sie ein anderes Modell verwendete, das noch das AI Gateway nutzte. Ich habe das Gateway entfernt und die Zusammenfassung etwa dreimal ausgelöst, und es gab keinen einzigen Fehler.
Wenn Ihr KI-Modell also abgeschnitten wird, bevor es alles geschrieben hat, und Sie zufällig das AI Gateway von Cloudflare verwenden, ist der erste Schritt, die Modell-API direkt abzufragen!


