Discourse KI - Zusammenfassung

[Discourse]

Dieses Thema behandelt die Konfiguration der Zusammenfassungsfunktion des Discourse AI Plugins.

Erforderliche Benutzerebene: Administrator

Fassen Sie Themen und Chat-Kanäle für eine schnelle Zusammenfassung zusammen. Verwenden Sie es in Mega-Themen und großen Diskussionen, um herauszufinden, was passiert.

Funktionen

• Themen aus der Themenübersicht (oben und unten im Thema) zusammenfassen
• Chat-Kanäle für einen bestimmten Zeitraum (bis zu 7 Tage) zusammenfassen
• Zwischengespeicherte Zusammenfassungen in zuvor generierten Themen
• Ältere Zusammenfassungen neu generieren
• Datum der Zusammenfassung und verwendetes KI-Modell anzeigen

Zusammenfassen aktivieren

Voraussetzungen

Sie müssen mindestens ein Large Language Model (LLM) von einem Anbieter konfigurieren.

Um loszulegen, können Sie sie über die Discourse AI - Large Language Model (LLM) Einstellungen Seite konfigurieren.

• OpenAI
• Anthropic
• Azure OpenAI
• AWS Bedrock mit Anthropic-Zugang
• HuggingFace Endpoints mit Llama2-ähnlichem Modell
• Selbst-Hosting eines OpenSource LLM
• Google Gemini
• Cohere

Konfiguration

1. Gehen Sie zu Admin-Einstellungen → Plugins → AI → Einstellungen-Tab und stellen Sie sicher, dass es aktiviert ist (discourse ai enabled).
2. Legen Sie das zu verwendende LLM über ai summarization model fest.
3. Aktivieren Sie ai summarization enabled, um Zusammenfassen zu aktivieren.
4. Wir empfehlen, festzulegen, welche Benutzergruppen Zusammenfassungen generieren und anzeigen dürfen, über ai custom summarization allowed groups.
5. (Optional) Aktivieren Sie Zusammenfassungen für private Nachrichten (PM) für bestimmte Benutzergruppen über ai pm summarization allowed groups.

Selbst-Hosters müssen Folgendes konfigurieren:

• ai_summarization_discourse_service_api_endpoint
• ai_summarization_discourse_service_api_key

Technisches FAQ

Zwischenspeichert Zusammenfassen Ergebnisse?

• Zusammenfassen speichert Ergebnisse zwischen und macht sie sogar für alle Benutzer außerhalb ausgewählter Benutzergruppen verfügbar.

Vorbehalte

• Zusammenfassungsausgaben sind möglicherweise nicht 100% genau. Überprüfen Sie daher jede Ausgabe sorgfältig.
• LLM-Aufrufe können teuer sein. Wir empfehlen, Zusammenfassen für bestimmte Benutzergruppen zu aktivieren, um die Kosten zu kontrollieren.

[EricGT]

Frage

Zusammenfassung

Heute wurde die Zusammenfassung im OpenAI-Forum aktiviert. Im Gespräch mit einem Benutzer stellte ich fest, dass wir für Moderatoren Thema zusammenfassen mit viel weniger Inhalt sehen als andere Benutzer.

Als Moderatoren erhalten wir die Option Thema zusammenfassen

• Für Forum - ein Thema-Post gefolgt von einem Antwort-Post zeigt die Option
• Für Direktnachricht - ein Thema-Post zeigt die Option

Ich habe versucht, Dokumentationen dazu zu finden und keine gefunden. Habe ich etwas übersehen?

---

---

Feedback zur Zusammenfassung

OMG! Das ist perfekt!

Wir brauchen Zusammenfassung und wir brauchen sie jetzt!

(ref)

Das erwähnte Zusammenfassungsthema befindet sich direkt über dieser Antwort, hier.

---

---

Vorschlag

Automatisch eine Zusammenfassungsantwort in Themen mit vielen Antworten und vielen Aufrufen einfügen, insbesondere in diskussionsbezogenen Themen.

Offensichtlich muss es einige Einstellungen geben, damit sie angepasst werden kann, wie oft und welche Themen, was möglicherweise KI zur Auswahl erfordert.

Identifizieren Sie auch die Zusammenfassungsantwort(en) so, dass der Zusammenfassungscode keine Zusammenfassungsantwort verwendet, da dies die Relevanz der Informationen für nachfolgende Zusammenfassungen verzerren könnte.

---

In den letzten Tagen habe ich als Moderator manuell Themen ausgewählt und Discourse AI-Zusammenfassungen als Antworten hinzugefügt. Das Feedback war, obwohl begrenzt, positiv.

Beispiele

---

---

Verrückter Vorschlag

Erstellen Sie eine Discourse-Nachrichtenseite

---

Jeden Tag besuche ich viele Seiten, um Updates zu erhalten. Einige dieser Seiten bieten Nachrichtenartikel über die neuesten KI-Trends. Viele dieser Nachrichtenartikel sind eigentlich nur viele Einzeiler mit Fakten. Ein Nachrichtenartikel, den ich heute Morgen gelesen habe, wurde aus dem OpenAI Discourse-Forum und Discord-Foren bezogen. Bei der Verwendung der Zusammenfassung für dieses Thema stellte ich fest, dass das, was generiert wurde, genauso gut oder besser war als der Nachrichtenartikel.

Nun kennen viele von uns Hacker News.

Warum also nicht Discourse News, das Nachrichten von Discourse-Seiten abruft, die zustimmen, Inhalte auf der Discourse News-Seite verfügbar zu machen. Offensichtlich müsste es Opt-in-Optionen für jede Seite, jeden Benutzer und jedes Thema geben, aber man weiß nie, es könnte eine neue Informationsquelle für The Pile werden und wenn es auch mit der richtigen Genehmigung geschieht, wäre es vielen von Nutzen.

---

---

Feedback

Ich habe eine Zusammenfassung für dieses Thema erstellt, aber sie nicht öffentlich gepostet

Code interpreter is turned off, any idea?

Die Zusammenfassung wurde nach diesem Beitrag (Nummer 5) erstellt

Code interpreter is turned off, any idea?

Zusammenfassung

Benutzer jy.genre meldete, dass der Code-Interpreter offline sei, und lud ein Bild hoch. EricGT antwortete, dass er für ihn live sei und Code erzeuge. Er teilte auch Bilder des Discourse-Forums und der OpenAI-Statusseite mit einer Wartungsnachricht, die er zuvor nicht gesehen hatte. Er teilte auch aktualisierte Wartungsnachrichten. Markanthonykoop berichtete ebenfalls, ein Wartungs-Popup gesehen zu haben und zuvor eine Service-Schleife erlebt zu haben. Magejosh bestätigte, dass er keine neuen Code-Interpreter-Chats öffnen könne, aber Dateien in zuvor geöffneten Chats hochladen könne. Er bemerkte häufiger wiederholte Fehler und vergessene Anweisungen, vermutete aber, dass dies auf die Wartung zurückzuführen sei. EricGT teilte eine weitere Wartungsaktualisierung von der OpenAI-Statusseite.

Zwei Beobachtungen

• Die Zeit oder Reihenfolge der Ereignisse ist wichtig und fehlt in der Zusammenfassung
• Es gibt viele kritische Informationen in den Bildern, die nicht für die Zusammenfassung extrahiert werden, vielleicht kann OCR verwendet werden.

[EricGT]

Das ursprüngliche Thema befindet sich in der Kategorie Lounge auf OpenAI Discourse, auf die die meisten keinen Zugriff haben.

Hier gepostet, damit Roman und Falco es sehen können und um Sam die Arbeit des Weiterleitens zu ersparen; Sam macht großartige Fortschritte bei der Kontaktaufnahme bezüglich der Zusammenfassung bei OpenAI.

@sam.saffron

„Starten Sie dieses sehr unübersichtliche Thema mit einem neuen Thema neu, das viel klarer ist“

Ich mag den Gedanken, neu zu starten.

Erwägen Sie auch ähnliche Themen, die in einem zusammengeführt werden sollten, z. B.

GPT has been severely downgraded

Has There Been A Recent Decrease In GPT-4 Quality?

Experiencing Decreased Performance with ChatGPT-4

Terrible performance degradation GPT Plus

GPt-4 is underwhelming now

[Hifihedgehog]

Gibt es eine Möglichkeit, zwischengespeicherte Zusammenfassungen von anderen LLMs zu löschen? Ich frage, da mir ein LLM diese Schönheit von einer Zusammenfassung gegeben hat, also bin ich seitdem zu einem anderen gewechselt, aber ich bin mir nicht sicher, wie ich diese alte Zusammenfassung aus dem Forumssystem entfernen kann.

[Falco]

Derzeit können Mitarbeiter Zusammenfassungen nach 1 Stunde neu generieren. Ein anderer Weg ist die Verwendung der Ruby-Konsole, um eine bestimmte zwischengespeicherte Zusammenfassung aus der Datenbank zu löschen.

[Falco]

Übrigens fanden wir die bestehenden Zusammenfassungsmodelle für Discourse nicht gut genug und sind daher auf LLMs umgestiegen. Wenn Sie über einen Server mit ausreichend GPU-VRAM verfügen, erzielen Sie mit einem LLM auf Llama2-Basis großartige Ergebnisse für #ai-summarization und ai-helper. Ich habe Discourse AI - Self-Hosted Guide mit grundlegenden Anweisungen zum Ausführen dieses LLM aktualisiert.

[pfaffman (Jay Pfaffman)]

@Falco

Wenn Sie einen Server mit ausreichend GPU-VRAM haben

Ich ärgere mich, wenn Leute das fragen, aber können Sie einen Hinweis geben, was „genug“ ist?

Vielleicht ASUS Dual NVIDIA GeForce RTX 3060 V2 OC Edition 12GB GDDR6 Gaming-Grafikkarte (PCIe 4.0, 12 GB GDDR6-Speicher, HDMI 2.1, DisplayPort 1.4a, 2-Slot, Axial-tech-Lüfterdesign, 0dB-Technologie) Amazon.com: ASUS Dual NVIDIA GeForce RTX 3060 V2 OC Edition 12GB GDDR6 Gaming Graphics Card (PCIe 4.0, 12GB GDDR6 Memory, HDMI 2.1, DisplayPort 1.4a, 2-Slot, Axial-tech Fan Design, 0dB Technology) : Electronics

[Falco]

@pfaffman

Ich ärgere mich, wenn Leute das fragen, aber kannst du einen Hinweis geben, was „genug“ ist?

Du solltest dir die Bearbeitung ansehen, die ich oben verlinkt habe, sie enthält genau das!

Aber die längere Version davon ist, dass Quantisierung es dir ermöglicht, Qualität und Geschwindigkeit für den Betrieb auf geringeren Spezifikationen zu tauschen. Wenn du die besten Modelle ausführen möchtest, benötigst du ohne Quantisierung etwa 160 GB VRAM. Wenn du schlechtere Qualität, Geschwindigkeit, Latenz usw. akzeptierst, kannst du 5 % davon verwenden.

Wir haben „gut genug“ Ergebnisse mit dem Modell, das ich dort als Beispiel verwende, das kaum auf einer Maschine mit 96 GB VRAM läuft.

[Hifihedgehog]

@Falco

Derzeit können Mitarbeiter Zusammenfassungen nach 1 Stunde neu generieren.

Ich vermisse es vielleicht, also entschuldigen Sie mich, wenn ich es tue, aber wo ist die Option für Mitarbeiter, eine neue Generierung zu erzwingen?

[Hifihedgehog]

@Falco

Derzeit können Mitarbeiter Zusammenfassungen nach 1 Stunde neu generieren. Ein anderer Weg ist die Verwendung der Ruby-Konsole, um eine bestimmte zwischengespeicherte Zusammenfassung aus der DB zu löschen.

Entschuldigung für den Bump, aber ich konnte die Methode für Mitarbeiter, Zusammenfassungen nach 1 Stunde neu zu generieren, nicht finden. Erfordert dieses 1-Stunden-Fenster, dass eine Antwort auf das Thema gegeben wurde, gibt es eine geheime UI-Kombination, die ausgeführt werden muss, um darauf zuzugreifen, usw.?

[swong (Simon Wong)]

Gibt es eine Möglichkeit, die Anthropic's claude-2-Zusammenfassungsstrategie über AWS Bedrock mit Anthropic-Zugang zu nutzen (der KI-Chatbot hat diese Option)?

Derzeit kann entweder das Anthropic-Modell nur ausgewählt werden, wenn ai_anthropic_api_key konfiguriert ist.

[Falco]

Ja, Sie müssen

• ai_anthropic_api_key auf ‘a’ setzen (um die Validierung zu umgehen)
• Ihre Bedrock-Anmeldedaten ausfüllen
• Claude 2 als Zusammenfassungsmodell auswählen

Wir planen eine Überarbeitung der Art und Weise, wie Modelle / Inferenz / APIs in der Benutzeroberfläche ausgewählt werden können, aber dies wird Ihnen in der Zwischenzeit helfen.

[EricGT]

Feedback.

Größtenteils funktioniert die Zusammenfassung gut.

Bei Links zu Bildern im Beitrag sind die Links nicht korrekt.

OpenAI Dev Day 2023 Live Reactions

z.B.

Folge einigen Fotos, die von [Foxabilo](/t/-/475167/13; /t/-/475167/24; /t/-/475167/34; /t/-/475167/37) geteilt wurden

[Jagster (Jakke Lehtonen)]

Dies ist Teil der guten alten Frage der Sprachen… aber hat jemand eine Idee, warum die Zusammenfassung manchmal die Sprache des Themas respektiert und manchmal Englisch verwendet? Es scheint, als ob es völlig zufällig geschieht.

Und die eigentliche Frage könnte sein, gibt es eine Systemaufforderung, in der wir die verwendete Sprache vorschlagen können, oder kommt sie vom Zusammenfassungstool?

[sam (Sam Saffron)]

@Jagster

Und die eigentliche Frage ist, gibt es eine Systemaufforderung, in der wir die verwendete Sprache vorschlagen können, oder kommt sie vom Zusammenfassungstool?

Dies ist derzeit intern fest codiert, aber wir planen, hier Flexibilität zu ermöglichen.

Manche Leute mögen längere Zusammenfassungen, andere kürzere … usw. …

[RBoy]

@Falco

Verfügbare Strategien umfassen:

• Eine Sammlung von Open-Source-Modellen von HuggingFace: bart-large-cnn-samsum, flan-t5-base-samsum und long-t5-tglobal-base-16384-book-summary.
• OpenAI ChatGPT, entweder mit gpt-3.5-turbo oder gpt-4.
• Anthropic Claude’s V1 und V2 Modelle.

Dieser Text muss möglicherweise aktualisiert werden, da er meiner Meinung nach auch Gemini unterstützt.

Zusätzlich Feedback zur UI der Einstellungen: Gab es einen bestimmten Grund, warum die Einstellungen summarization_strategy und custom summarization allowed groups auf die Seite Others verschoben wurden, anstatt auf der Seite Discourse AI zusammen mit den restlichen KI-Einstellungen zu bleiben? Es hat eine Weile gedauert, dies zu finden, und es geht inmitten einer Reihe von nicht verwandten Einstellungen verloren.

[RBoy]

Wie kann man diese Funktion ein- und ausschalten? Ich sehe den Zusammenfassen-Button für Themen mit der erforderlichen Anzahl von Beiträgen nicht und sehe auch Meldungen in den Fehlerprotokollen, daher möchte ich versuchen, ihn aus- und wieder einzuschalten.

[Shauny (Shaun Robinson)]

Wie können wir „Zusammenfassen mit KI“ vollständig deaktivieren?
Die Qualität ist wirklich schlecht und ich finde den ganzen Button sinnlos – ich möchte ihn entfernen.

[Falco]

@Shauny

Wie können wir „Zusammenfassen mit KI“ vollständig deaktivieren?

Auf die gleiche Weise, wie Sie es mit der Einstellung summarization strategy aktiviert haben. Um es zu deaktivieren, können Sie es auf den Standardwert der Website-Einstellung zurücksetzen.

@Shauny

Die Qualität ist wirklich schlecht

Welches Modell verwenden Sie? Wir haben festgestellt, dass Claude 3 Opus bei dieser Aufgabe am besten abschneidet.