Kann mir bitte jemand die Regeln für die Neuerstellung von Zusammenfassungen erklären? Es gab eine Diskussion, dass Mitarbeiter Zusammenfassungen nach einer Stunde neu erstellen können, aber das sehe ich nicht. (Ich bin mir nicht sicher, was ich sehe – es scheint inkonsistent zu sein.) Wenn es einen neuen Beitrag gibt, sollte er die Option zur Neuerstellung anbieten? Und für jeden oder nur für Mitarbeiter?
Nachdem ich experimentiert habe, sehe ich Folgendes:
- Bei Themen mit weniger als 100 Beiträgen ist die Schaltfläche „Regenerieren“ sofort nur für Mitarbeiter aktiviert.
- Bei Themen mit mehr als 100 Beiträgen ist die Schaltfläche „Regenerieren“ auch nach einer Stunde Wartezeit nicht aktiviert.
Selbst wenn die Schaltfläche „Regenerieren“ aktiviert würde, ist es für unsere Mitarbeiter kein praktikabler Arbeitsablauf, ständig auf die Schaltflächen zu klicken. Daher plane ich vorläufig, einen Webhook zu implementieren, der auf neue Beiträge hört und die Zusammenfassung mithilfe von https://forum.example.com/discourse-ai/summarization/t/12345 neu generiert. Eine schnelle Berechnung ergibt, dass dies für unser Forum etwa 500 US-Dollar pro Jahr kosten würde. Mir ist bewusst, dass Discourse versucht, sich vor unerwarteten hohen Kosten zu schützen.
Hallo @markschmucker,
Wir arbeiten derzeit an einer Backfill-Strategie für Topic-Zusammenfassungen in DiscourseAI. Wir planen, sie nächste Woche auszuliefern, und ich werde Sie hier auf dem Laufenden halten, wenn sie verfügbar ist.
4 „Gefällt mir“
Wir haben die Funktion jetzt @markschmucker, Sie können sie über die Site-Einstellung ai summary backfill maximum topics per hour anpassen.
Ich habe das auf 12 gesetzt und auf meinem Anthropic-Dashboard sehe ich wie erwartet alle 5 Minuten ein Ereignis. Aber ich kann die Nutzlast auf diesem Dashboard nicht sehen. Wie kann ich sehen, welche Zusammenfassung Discourse neu generiert?
Das ist alles in der Tabelle ai_api_audit_logs gespeichert. Wenn Sie Data Explorer haben, können Sie die folgende Abfrage verwenden:
SELECT
*
FROM
ai_api_audit_logs
ORDER BY
id DESC
LIMIT
100
Nachdem ich damit gespielt habe, scheint das Zurückfüllen Zusammenfassungen für einige der neuesten Themen zu generieren (anscheinend etwa 100 Themen oder Themen, die in den letzten Wochen aktualisiert wurden?).
Während oder nach dem Zurückfüllzyklus wird bei einem Thema mit einer Zusammenfassung, das einen neuen Beitrag erhält, die Zusammenfassung nicht automatisch aktualisiert. (Wenn es weniger als 100 Beiträge hat, gibt es eine Schaltfläche „Regenerieren“, auf die Mitarbeiter manuell klicken können.)
Wann sollte das Thema mit einem neuen Beitrag aktualisiert werden?
Es sollte bis zu 5 Minuten nach dem Posten einer Antwort aktualisiert werden, zumindest für normale Themen mit weniger als 50 Antworten.
Ist Ihre Community eher auf Mega-Themen ausgerichtet?
cc @Roman
Jetzt sehe ich, dass der SummariesBackfill-Job fehlgeschlagen ist – ich habe ein tägliches Ratenlimit bei Anthropic erreicht. Das könnte der Grund sein, warum er nach vielleicht den 100 neuesten Themen zu stoppen schien und warum das aktualisierte Thema keine neue Zusammenfassung erhalten hat.
Wenn ich kein Ratenlimit erreicht hätte, würde SummariesBackfill dann alle 60.000 unserer Themen zusammenfassen? Auch diejenigen, die seit Jahren inaktiv sind?
Die meisten Themen haben mehr als 100 Antworten. Wir haben 8 Themen mit über 1000 Antworten.
Ja, es startet alle 5 Minuten einen Batch, wobei die aktuellsten aktiven Themen priorisiert und solche übersprungen werden, die bereits eine aktuelle Zusammenfassung haben.
Wenn Sie Ihr maximales Limit pro Stunde höher einstellen, als Sie durchschnittlich Themen mit neuer Aktivität pro Stunde haben, werden schließlich alle Ihre Themen aufgefüllt.
2 „Gefällt mir“
Feature-Anfrage: Etwas wie ai summary backfill maximum age, damit wir keine hohen Kosten für die Zusammenfassung alter Themen ohne Aktivität in den letzten sechs Monaten verursachen. Ich schätze, es würde uns 3.000 US-Dollar kosten, alle 60.000 zusammenzufassen, von denen die meisten uns nicht interessieren.
cc @Roman
Ich wollte nur bestätigen, ob Sie Haiku 3.5 verwenden. Es sollte gute Zusammenfassungen liefern.
Ich verwende Sonnet 3.5, ohne guten Grund. Haiku 3.5 sollte die Kosten erheblich senken. Ich denke jedoch, dass die Funktionsanfrage immer noch eine Überlegung wert ist.
1 „Gefällt mir“
Ja, sicherlich.
Ich denke, wir könnten einen ausgeklügelten Backfilling-Algorithmus in der Automatisierung erstellen, da es viele Stellschrauben gibt, an denen man über das Alter hinaus drehen kann.
- Nur diese Kategorien
- Inhalte mit mehr als X Aufrufen
- Inhalte mit mehr als N Likes
- Inhalte mit akzeptierten Antworten
- Inhalte, die neuer als X sind
Das Hinzufügen von 10 Website-Einstellungen hierfür wird die Benutzer überfordern.
2 „Gefällt mir“
Ich stimme Mark zu. Wenn wir dies für unser Forum implementieren wollen, möchten wir nicht, dass alte Beiträge ohne neue Aktivität erneut zusammengefasst werden. KI ist derzeit zu kostspielig, wenn man bedenkt, dass Zusammenfassungen nur ein kleiner Teil aller KI-Tools sind.
1 „Gefällt mir“
Es gibt jetzt ai summary backfill topic max age days, und es ist standardmäßig auf 30 Tage eingestellt.
Alte Themen werden nicht “wieder zusammengefasst”, es sei denn, es gibt neue Aktivitäten.
3 „Gefällt mir“
Ich habe alle Zusammenfassungen mit rails c AiSummaries.destroy_all gelöscht und einen neuen Durchlauf mit einem anderen LLM gestartet, wobei ai summary backfill topic max age days = 60 verwendet wurde. Zuerst hatte ich ai summary backfill maximum topics per hour zu hoch eingestellt, sodass viele der neuesten Themen aufgrund von Ratenbegrenzungen fehlschlugen. Das ist mein Fehler, aber ich hatte erwartet, dass es nach dem Backfillen für 60 Tage eine neue Schleife starten und die fehlgeschlagenen Themen nachholen würde. Stattdessen tut es das nicht – es hat bis 60 Tage zurückgefüllt und dann angehalten.
Der Job läuft alle 5 Minuten erfolgreich, dauert aber nur Millisekunden, findet also offensichtlich nichts zum Nachfüllen.
Ich überwache den Fortschritt (oder dessen Fehlen) mit Data Explorer unter Verwendung der Tabellen ai_summaries und ai_api_audit_logs.
Wenn ich manuell auf die Schaltfläche „Zusammenfassen“ bei einem Thema klicke, das nicht nachgefüllt wurde, wird eine neue Zusammenfassung generiert. Ich bin also ordnungsgemäß mit dem KI-Anbieter verbunden und die Themen sind „zusammenfassbar“.
Keine Fehler in /logs.
Ideen?
Problem gefunden. Es vergleicht ai summary backfill topic max age days mit topic.created_at und nicht mit updated_at. Ich denke, dies sollte zu updated_at geändert werden – ich habe viele sehr aktive Themen, die vor zwei Jahren erstellt wurden und immer noch jede Woche neue Beiträge erhalten, aber wenn ich ein maximales Alter von 90 Tagen oder sogar einem Jahr verwende, werden diese Themen nicht zusammengefasst.
Bitte erwägen Sie, dies zu ändern.
.where("topics.created_at > current_timestamp - INTERVAL '#{max_age_days.to_i} DAY'")
Können wir diese Zusammenfassungen aktualisieren, wenn ein Thema geändert wird, da ich viele einzelne Beitragsthemen habe, die oft bearbeitet werden (Dokumente)?
Schlagen Sie vor, das Intervall für den Backfill-Job nach Möglichkeit von 5 Minuten auf 1 Minute zu ändern. Die meisten(?) KI-Anbieter haben Ratenbegrenzungen pro Minute, sodass, wenn der Job jede Minute ausgeführt würde, 5-mal mehr Zusammenfassungen erstellt werden könnten, ohne die Ratenbegrenzungen pro Minute zu überschreiten.