Es wäre toll, Optionen anzubieten, wie lang die Zusammenfassung sein soll. Es klingt so, als ob dies auf eine Wortzahl von 150-200 abzielt, was für einige Themen nicht viel ist.
Ich würde gerne den Prompt anpassen. Zum Beispiel würde ich standardmäßig Aufzählungspunkte verwenden.
Ich würde gerne mit einem Prompt experimentieren, der zitiert, wer was sagt und auf Beiträge verweist.
Ich würde die Zusammenfassung mit der KI-Mindestbeitragseinstellung von der allgemeinen trennen. Die Zusammenfassung mit KI ist wahrscheinlich auch bei weniger Beiträgen nützlich.
Beachten Sie, dass GPT-3.5 jetzt eine Version mit einem Token-Limit von 16.000 hat, was hier sehr relevant sein könnte.
Und nun die 2 Killer-Features, die ich gerne sehen würde:
Tägliche Zusammenfassungen mit der Funktion „Zusammenfassen mit KI“.
Zusammenfassungen, wenn ich mit der Maus über das Thema fahre (z. B. vorab berechnet).
Wir verwenden derzeit einen vereinfachten Prompt (wenn OpenAI oder Anthropic ausgewählt sind), werden ihn aber sehr bald ändern, da wir gerade daran arbeiten.
Die Anpassung ist eine interessante Funktion, die wir vielleicht in Zukunft hinzufügen werden.
Wir haben diese Woche gerade dafür gesorgt, dass sie für Beiträge mit mindestens einer Antwort angezeigt wird.
Wir haben für OpenAI-Modelle mit großem Kontext die Modelle hinzugefügt, an dem Tag, an dem sie veröffentlicht wurden. Derzeit können Sie wählen:
GPT 3.5 Turbo mit 16k
GPT 4 mit 32k
Claude mit 100k
Es wird daran gearbeitet, die generierten Zusammenfassungen zu cachen, damit sie anderswo verwendet werden können, was Funktionen wie diese ermöglicht.
Das ist eine Änderung, die wir gerade diese Woche vorgenommen haben, sodass sie in den nächsten Tagen auf Ihrer Seite ausgerollt wird.
Was bedeutet „Pipeline“ hier?
Wie Sie hier auf Meta sehen können, haben wir das bereits getan. Die alte Zusammenfassung heißt jetzt „Top-Antworten anzeigen“. Wir arbeiten noch am Design und der Reihenfolge der Schaltflächen.
Bei der Verwendung von Gemini 1.5 Flash enthalten die Zusammenfassungen oft Links zu mehreren Beiträgen, aber die mehreren Links werden nicht als Links gerendert. Ich erinnere mich nicht, andere Modelle gesehen zu haben, die versucht haben, mehrere Links zu verwenden.
Links zu einzelnen Beiträgen werden ordnungsgemäß gerendert.
Nun, das ist einfach ungültiges Markdown, deshalb funktioniert es nicht.
Es ist eine Schande, dass Gemini Flash kein gültiges Markdown erzeugen kann. Hier auf Meta verwenden wir Llama 3.1, das auf FP8 für Zusammenfassungen quantisiert ist, und es kann problemlos ordnungsgemäße Markdown-Links erzeugen.
Ich weiß nicht, ob Sie bekannte Probleme beheben würden, wie z. B. die Überprüfung auf Montage und dieses spezielle Markdown. Mir ist bewusst, dass es nicht ideal ist, aber es könnte besser sein, als ansonsten gute LLM-Optionen zu verlieren.
Das scheint für mich sehr gut behebbar zu sein, da wir unser Beispiel hier verbessern können. Im Moment lautet die Aufforderung:
Sie sind ein fortschrittlicher Zusammenfassungsbot, der prägnante, kohärente Zusammenfassungen des bereitgestellten Textes erstellt.\n\n- Fügen Sie nur die Zusammenfassung hinzu, ohne zusätzlichen Kommentar.\n- Sie verstehen und generieren Discourse-Forum-Markdown; einschließlich Links, _Kursivschrift_, **Fett**.\n- Behalten Sie die Originalsprache des zusammengefassten Textes bei.\n- Streben Sie Zusammenfassungen von 400 Wörtern oder weniger an.\n- Jeder Beitrag wird als „<POST_NUMMER> <BENUTZERNAME> <NACHRICHT>“ formatiert.\n- Zitieren Sie spezifische bemerkenswerte Beiträge im Format [NAME](/t/-/31793/POST_NUMMER)\n - Beispiel: Link zum 3. Beitrag von sam: [sam](/t/-/31793/3)\n - Beispiel: Link zum 6. Beitrag von jane: [agreed with](/t/-/31793/6)\n - Beispiel: Link zum 13. Beitrag von joe: [#13](/t/-/31793/13)\n- Bei der Formatierung von Benutzernamen verwenden Sie entweder @BENUTZERNAME ODER [BENUTZERNAME](/t/-/31793/POST_NUMMER)
Das fühlt sich etwas mehrdeutig an. Wir können es mit etwas wie diesem untermauern:
Grundsätzlich, @Roman / @Falco, müssen wir diese Aufforderungen aus dem Quellcodebaum entfernen und sie vielleicht in einer Persona speichern, damit Communities sie anpassen und teilen können, was besser funktioniert.
Ich werde nicht überrascht sein, wenn wir langfristig spezielle Aufforderungen für die schwächeren Modelle benötigen.
Persona würde hier großartig funktionieren, wenn wir Unterstützung für „Beispiele“ hätten, was keine riesige Dehnung zu sein scheint. Entweder das, oder wir verschieben es zu CompletionPrompt und geben dem eine Benutzeroberfläche.
Ich mag die Idee, den Prompt anzupassen, um ihn an Ihre Bedürfnisse anzupassen und die Fähigkeiten des Modells zu nutzen. Ich denke auch, dass es eine gute Idee ist, Personas zu einem eher Feature-unabhängigen Konzept zu machen.
Das ist im Grunde die Idee der „Persona-Funktionen“, „Prepared Statements“, die wir dieses Jahr besprochen haben. Wir würden alles wie AI Helper, Summary, Search usw. dorthin verschieben, das Erstellen benutzerdefinierter Funktionen ermöglichen und eine Benutzeroberfläche haben, um diese mit Funktionen in der Benutzeroberfläche zu verknüpfen.
Es wird schwierig, wenn wir die vorab geladenen aktualisieren, um ein anderes Format zu liefern, z. B. XML zu JSON. Hoffentlich können wir etwas bauen, das wir nächstes Jahr in Betracht ziehen können.
Ich kann den letzten Beiträgen nicht ganz folgen. Ich erhalte immer noch ungültige Zusammenfassungen. Gibt es etwas Bestimmtes, das ich mit Personas versuchen kann, oder muss ich auf die Refaktorisierung warten, über die Sie sprechen?
Der Popup ist nicht breit genug
