Es könnte nützlich sein, einige von Menschen erstellte Benchmarks für die Zusammenfassungen zu definieren und dann die Prompts so lange zu wiederholen, bis die Ergebnisse diese Benchmarks erreichen oder übertreffen.
Ein paar Beispiele:
Gist für Understanding and managing bootstrap mode
Der Bootstrap-Modus von Discourse ist ein spezieller Zustand, der das Community-Wachstum erleichtert, automatisch das Vertrauen der Benutzer, die Kommunikationsfrequenz und Verzeichnisaktualisierungen anpasst und durch die Schaltfläche “Erste Schritte” oder Protokolle von Mitarbeitern identifiziert werden kann.
Gist für ein Bug-Thema:
Das Forum-Theme verursacht das Problem mit der Sichtbarkeit des Benutzermenüs, das verfolgt und gelöst werden kann, was es zu einem überschaubaren Problem macht, das trotz einiger Herausforderungen behoben werden kann.
Ich glaube nicht, dass eine dieser Auszüge die menschliche Leistung erreicht – wobei menschliche Leistung als das definiert wird, was ein guter Autor erreichen kann. Ich vermute, das Problem ist, dass dem LLM eine unmögliche Aufgabe gestellt wird, indem es gebeten wird, zu viele Informationen in einen einzigen Satz zu packen.
Das Hauptziel des Auszugs sollte es sein, den Benutzern eine Vorstellung davon zu geben, was sie in dem Thema erwartet. Es muss nicht viel mehr tun.
Es ist wahrscheinlich, dass das LLM, das die Auszüge generiert, sich des Kontexts des Themas bewusst sein muss. Zum Beispiel würde ich für das Bootstrap-Dokumentationsthema eine einfache Definition des Bootstrap-Modus erwarten. Für ein Thema, bei dem der OP eine vom Benutzer gestellte Frage ist, könnte der Auszug einfach die Frage in Begriffen wiederholen, die von den Benutzern der Website wahrscheinlich verstanden werden. Ein Thema, das von einem sehr technischen Benutzer initiiert wurde, könnte einen Auszug haben, der einige technische Begriffe verwendet, um das richtige Publikum für das Thema anzuziehen.