Wir haben viele Themen, die die üblichen Kontextlängen (sagen wir 128k) überschreiten, und schlimme Dinge passieren. Haben Sie in Erwägung gezogen, nur basierend auf den beliebtesten Beiträgen zusammenzufassen? Beginnen Sie mit dem beliebtesten Beitrag, fügen Sie den nächstbeliebtesten hinzu und fahren Sie fort, bis die Zielkontextlänge erreicht ist, und übergeben Sie dann den resultierenden Text an das GPT? Für unser Forum zumindest sind „Likes“ ein sehr guter Indikator für „am relevantesten“.
So funktioniert es bei langen Themen, wir verwenden die 50 beliebtesten Beiträge im Thema.
1 „Gefällt mir“
Hmm, die Zusammenfassung scheint bei langen Themen zu hängen, daher ging ich davon aus, dass es mit der Inhaltslänge zusammenhängt. Haben Sie Tipps zum Debuggen? Ich verwende gpt-o4. Ich sehe keine Möglichkeit, spezifische API-Anfragen in meinem OpenAI-Dashboard anzuzeigen.
Sie können Anfragen in der Tabelle ai_api_audit_logs einsehen.
Was das Hängen während der Zusammenfassung betrifft, so hatten wir kürzlich einige Frontend-Fehler, daher aktualisieren Sie bitte Ihre Website auf die neueste Version.
2 „Gefällt mir“
Ich habe das in den Fehlerprotokollen gefunden:
Request too large for gpt-4o in organization org-xxxxxxxxxxxxxxxxx on tokens per min (TPM): Limit 30000, Requested 45906.
Um meine Limits zu erhöhen, muss ich tatsächlich 50 US-Dollar ausgeben (nicht nur budgetieren) und etwa einen Monat plus 7 Tage warten:
Bisher habe ich nur 2,00 US-Dollar ausgegeben und es ist noch keine Zahlung fällig. Ich sehe auch nicht, wie ich die Tokens in Discourse begrenzen kann. Daher sehe ich im Moment keine Möglichkeit, Zusammenfassungen für lange Themen zu verwenden.
Ohhh, das Problem ist also, dass Sie ein eingeschränktes OpenAI-Konto haben, das Sie auf Tokens pro Minute beschränkt, was die Nutzung der KI-Zusammenfassung auf Discourse beeinträchtigt.
Das ist wirklich schade. Ich würde mich nach alternativen Anbietern umsehen, wie Antrhopic, AWS, Azure, Google Cloud oder sogar Llama API-Anbietern. Ich glaube, es gibt Anbieter mit einer kostenlosen Stufe, die Ihnen ein höheres Limit als dieses bieten.
2 „Gefällt mir“
Ich bin von der Verwendung von 4o auf 4o-mini für die Zusammenfassung umgestiegen, und das scheint bei meinen längsten Themen zu funktionieren. Anscheinend hat OpenAI unterschiedliche Limits für die verschiedenen GPTs.
2 „Gefällt mir“