Discourse Data Explorer

[Discourse]

	Zusammenfassung	Discourse Data Explorer ermöglicht es dir, SQL-Abfragen gegen deine Live-Datenbank auszuführen, was eine Berichterstellung mit aktuellsten Statistiken in Echtzeit erlaubt.
	Installationsanleitung	Dieses Plugin ist im Discourse-Core enthalten. Es ist nicht notwendig, das Plugin separat zu installieren.

Da dies ein official Plugin ist, das vom Discourse-Team gepflegt wird, können Support, Contribute > Bug, Contribute > UX und #contribute:feature-Anfragen in den entsprechenden Kategorien hier im Meta-Forum gestellt und mit dem passenden Plugin-Tag versehen werden. Klicke auf einen der untenstehenden Links, um eine Anfrage zu starten.

Support Bug UX Feature

Wenn du nach Beispielen oder Unterstützung für benutzerdefinierte Abfragen suchst, findest du viele Themen in unserer Kategorie #data-reporting unter dem Tag sql-query. Falls es dafür kein passendes Thema gibt, kannst du gerne ein neues Thema erstellen, um die Community um Hilfe zu bitten. Abfrage-Hilfe

Bei uns gehostet? Dieses Plugin ist in unseren Business- und Enterprise-Plänen verfügbar. Data Explorer | Discourse - Civilized Discussion

Nach der Installation des Plugins navigiere zu /admin/plugins.

Klicke auf die Schaltfläche „Einstellungen“ und aktiviere data explorer enabled, kehre zurück und lade die Seite neu.
Es sollte nun ein Tab in der gestapelten Navigation mit der Bezeichnung „Data Explorer“ erscheinen. Wähle ihn aus oder navigiere zu /admin/plugins/discourse-data-explorer und verwende dann die Schaltflächen +, Importieren oder Ausführen, um loszulegen.

Standardabfragen

Bei einer Neuinstallation liefert der Data Explorer mehrere Abfragen mit, die dir helfen können, Erkenntnisse aus der Aktivität deines Forums zu gewinnen. Öffne eine beliebige Abfrage und klicke auf Ausführen, um sie auszuprobieren.

So sehen die Standardabfragen aus.

Hinweis: Standardabfragen werden aus dieser Datei geladen: discourse-data-explorer/lib/discourse_data_explorer/queries.rb at main · discourse/discourse-data-explorer · GitHub

Wenn du eine großartige Abfrage hast, die alle nutzen sollen, erstelle einfach einen PR, genau wie dieser hier.

Standardabfragen können nicht bearbeitet werden. Wenn du sie ändern möchtest, kopiere den SQL-Code und füge ihn in eine neue Abfrage ein.

Abfragen schreiben

Wenn du auf eine der Schaltflächen Bearbeiten in der Abfrageansicht klickst oder eine neue Explorer-Abfrage startest, wird dir ein Bildschirm wie der folgende angezeigt:

Die oberen beiden Felder sind der Name und die Beschreibung der Abfrage. Der Name ist das, was du in der Dropdown-Liste auswählst, und die Beschreibung sollte verwendet werden, um beispielsweise zu erklären, was in die Abfrageparameter eingegeben werden soll, oder um zu beschreiben, welche Daten abgefragt werden.

Das linke Fenster ist der Bereich, in dem du die SQL-Abfrage schreibst. Eine minimale Syntaxhervorhebung und -prüfung wird bereitgestellt.

Der Schema-Explorer befindet sich rechts vom Schreibbereich. Beachte die roten Spaltennamen mit einem Warnsymbol, wie z. B. email, password_hash, salt – dies sind „Sensitive“ (sensible) Spalten. Versuche, sie nach Möglichkeit nicht abzufragen. Überlege dir gut, ob du sie in einem öffentlichen Ort abfragst, und poste auf keinen Fall Screenshots von Abfragen, die diese Spalten überprüfen, ohne vorher genau zu überlegen, was du tust.

Abfragen automatisch ausführen

Obwohl du eine Abfrage immer ausführen kannst, indem du die Schaltfläche Ausführen klickst, kannst du Zeit sparen, wenn du der URL den Parameter run hinzufügst.

Zum Beispiel: /admin/plugins/discourse-data-explorer/queries/123?run

Wenn dieser Parameter zur URL hinzugefügt wird, wird die Abfrage ausgeführt, sobald du die Seite lädst. Du musst also nicht auf die Schaltfläche Ausführen klicken, um die Ergebnisse zu sehen. Dies ist besonders hilfreich für Abfragen, die du häufig ausführst, da du sie dann als Lesezeichen speichern oder mit dem Parameter run in deiner Seitenleiste hinzufügen kannst, um sie mit einem Klick auszuführen.

Abfragen importieren

Nehmen wir als Beispiel eine Abfrage, die ich geschrieben habe. Lade diese Datei herunter, öffne dann das Import-Dialogfeld, wähle die hochzuladende Datei aus oder füge die Abfrage in das Textfeld ein. Klicke auf Importieren, um sie zu speichern, und klicke dann auf Ausführen, um die Ergebnisse zu sehen.

most-common-likers.dcquery (1).json (442 Bytes)

Es scheint, als mögen sich alle Discourse-Entwickler ziemlich gut

Abfragen durchsuchen

Wenn du zu viele großartige Abfragen angesammelt hast, ist das kein Problem! Die Suchleiste kann dir helfen, durch Titel und Beschreibungen zu filtern.

Nicht-Admin-Gruppen das Ausführen von Abfragen erlauben

Du kannst bestimmten Gruppen (einschließlich Moderatoren) Zugriff auf eine Abfrage gewähren, indem du sie der Abfrage hinzufügst:

Nach dem Speichern findest du sie auf der Gruppen-Seite dieser spezifischen Gruppe auf der Registerkarte Berichte:

Klicke auf eine beliebige Abfrage, um sie zu öffnen, und dann auf die Schaltfläche Ausführen, um die Ergebnisse zu sehen. Du kannst Gruppenberichte auch als Lesezeichen speichern, indem du auf die Schaltfläche Lesezeichen klickst.

Abfragen mit vordefinierten Parametern teilen

Wenn du benutzerdefinierte Parameter in deiner Abfrage enthalten hast, kannst du einen Link zur Abfrage teilen und die Parameter in der URL einfügen, sodass sie beim Laden der Seite vorausgefüllt werden.

Du musst die Parameter in der URL im Format params={"parameter_name":"value"} angeben. Trenne mehrere Parameter mit Kommas. Zum Beispiel:

discourse.example.com/g/my-group/reports/6?params={"param1":"value1","param2":"value2"}

Kombiniert mit dem oben erwähnten Parameter run kannst du einen Bericht mit vordefinierten Parametern teilen, der beim Laden automatisch ausgeführt wird.

Ergebnismengenbegrenzung und Export von Abfragen

Bei großen Abfragen wirst du möglicherweise feststellen, dass es eine Begrenzung für die Anzahl der Zeilen gibt, die der Data Explorer anzeigt. Standardmäßig ist das Limit auf 1000 Zeilen festgelegt. Dies dient dazu, zu große Abfragen zu verhindern, die die Leistung deiner Discourse-Instanz verlangsamen oder stören könnten.

Wenn du diese Begrenzung umgehen möchtest, hast du einige Optionen:

1. Paginierung: Du kannst deine Ergebnisse paginieren. Anstatt alle Ergebnisse auf einmal zurückzugeben, kannst du deine Abfrage so schreiben, dass sie einen bestimmten Bereich von Ergebnissen zurückgibt. Du kannst diesen Bereich dann anpassen, um verschiedene Abschnitte deiner Daten anzusehen. Dies erhöht das Limit nicht, ermöglicht es dir jedoch, alle deine Daten abschnittsweise anzusehen.
2. Limit erhöhen: Wenn du Zugriff auf den Discourse-Server hast und dich damit wohlfühlst, Änderungen an den Discourse-Einstellungen vorzunehmen, kannst du das Limit erhöhen. Dies sollte jedoch mit Vorsicht erfolgen. Das Erhöhen des Limits kann deinen Server stark belasten, wenn du nicht aufpasst, insbesondere wenn mehrere Benutzer gleichzeitig große Abfragen ausführen.
3. Ergebnisse herunterladen: Du hast auch die Möglichkeit, die Abfrageergebnisse anstatt sie direkt in Discourse anzuzeigen, herunterzuladen, indem du nach dem Ausführen der Abfrage auf die Schaltfläche JSON oder CSV klickst. Daten, die im JSON- oder CSV-Format heruntergeladen wurden, haben ein deutlich höheres Ergebnislimit von 10.000 Zeilen. Für programmatische Zwecke solltest du das JSON-Format wählen, oder wenn du die Daten in einer Tabellenkalkulationsanwendung bearbeiten möchtest, ist das CSV-Format möglicherweise bequemer.

Es ist im Allgemeinen eine gute Idee, effizientere Abfragen zu schreiben oder deine Daten zu filtern, sodass du nur das abrufst, was du benötigst, anstatt zu versuchen, das Limit zu umgehen.

Du kannst auch die SQL-Abfrage selbst im .JSON-Format exportieren, indem du auf die Schaltfläche Exportieren klickst. Abfragen, die auf diese Weise exportiert wurden, können dann in andere Discourse-Sites importiert oder mit Drittanbieteranwendungen verwendet werden.

Abfrageplan

Das Kontrollkästchen „Abfrageplan einbeziehen“ kann verwendet werden, um deine SQL-Abfragen besser zu verstehen und zu optimieren.

Wenn du dieses Kästchen aktivierst und eine Abfrage ausführst, zeigt Discourse die Sequenz der Operationen an, die zum Zugriff auf Daten in der Discourse-Datenbank verwendet werden. Dies kann Operationen wie Scans, Joins, Sortierungen und andere Datenbankaktionen umfassen. Durch die Untersuchung des Abfrageplans kannst du genau sehen, wie die Datenbank deine Abfrage ausführt.

Die Data Explorer-Tutorial-Serie

Wir haben auch eine dedizierte #sql-tutorial-Serie über den Data Explorer! Wenn du mehr über das Schreiben von SQL-Abfragen in Discourse lernen möchtest, empfehlen wir dringend, die Themen in dieser Serie durchzulesen:

• Data Explorer Tutorial - Teil 1 - Deine erste Abfrage schreiben
• Data Explorer Tutorial - Teil 2 - Grundlagen von Discourse SQL
• Verwendung von Parametern in Data Explorer-Abfragen
• Formatieren von Data Explorer-Tabellenergebnissen

[HamMan2118]

Hallo!

Ich habe in diesem Thread gefragt, wie man die Links zu allen Themen in einer Suchanfrage kopieren kann. Ich wurde hierher verwiesen. Also habe ich den Manager von unserem Forum gefragt, ob wir dieses Plugin installiert haben, was wir haben. Wir wissen jedoch nicht, wie wir es verwenden können, um alle Links aus einer Suchanfrage mit diesem Plugin in eine CSV-Datei zu kopieren. Hat das schon mal jemand gemacht und kann uns vielleicht in die richtige Richtung weisen?

Beachten Sie, dass ich ein Stammgast im Forum bin und keine Admin-Rechte habe. Ich gebe diese Informationen jedoch an den Website-Manager weiter, der sie hat und sie für mich erledigen kann.

Vielen Dank im Voraus!

[Arkshine]

Hallo Preston!

Das Data Explorer-Plugin ermöglicht es Ihnen, SQL-Abfragen zu erstellen.

Sie möchten eine neue erstellen, die die gesuchten Themen auflistet.

Wenn Sie die Abfrage dann ausführen, sehen Sie eine CSV-Schaltfläche, um das Ergebnis in eine CSV-Datei zu exportieren.

Ich hoffe, das hilft!

Lassen Sie uns wissen, wenn Sie weitere Hilfe beim Erstellen der Abfrage benötigen!

[HamMan2118]

Danke! Ich werde das weitergeben :umarmungen:

[gormus (Osman Görmüş)]

Hallo, ich habe eine Funktionsanfrage für dieses großartige Plugin.

Einige der Berichte, die ich mit dem Data Explorer erstelle, wären für mein Team sehr hilfreich, wenn ich sie auf der Seite Dashboard Reports (/admin/reports) auflisten könnte.

Wäre es möglich, jeder Data Explorer-Abfrage eine Option hinzuzufügen, um sie auf der Berichtsseite aufzulisten? Danke.

Zum Beispiel:

• Diese benutzerdefinierte Abfrage auf der Seite Berichte auflisten

[kOS (KilianS)]

Vielen Dank für diese Funktion!

Ich untersuche, wie wir benutzerdefinierte Metriken schreiben könnten. Wir verwenden Discourse zusammen mit Workadventu.re (einem 2D-Avatar-basierten A/V-Kollaborationstool).
Ich führe dort ein benutzerdefiniertes Skript aus, um Aktivitäten über einen Webhook in ein Google Sheet zu schreiben. Um alles in unserem zentralen Tool (Discourse) zu zentralisieren, wäre es großartig, diese Daten in Discourse ausgeben zu können…
Irgendwelche Tipps?!

[davidgs (David G. Simmons)]

Ich hatte wirklich gehofft, dass es einen Query Builder gäbe, der beim Schreiben von SQL hilft. Mein SQL ist alt und eingerostet, und es von Hand zu schreiben ist fehleranfällig und zeitaufwendig. Es wäre wirklich schön, wenn es einen einfacheren Weg gäbe!

[Tris20 (Tristan)]

Hallo @davidgs, willkommen bei Meta

@davidgs

Ich hatte wirklich gehofft, dass es einen Query Builder gäbe, der beim Schreiben von SQL hilft.

Haben Sie versucht, eine LLM wie ChatGPT zu verwenden? Sie hat ein angemessenes Verständnis von Discourse und war ziemlich zuverlässig, als ich auch Daten-Explorer-Abfragen erstellen musste.

Ich schreibe meine Prompts oft so: „Schreibe eine Discourse-Daten-Explorer-Abfrage, die x,y,z aus a,b,c zurückgibt, wobei …“ und erhalte etwas ziemlich Vernünftiges.

In der oberen rechten Ecke dieser Seite sehen Sie vielleicht auch ein kleines Roboter-Symbol wie unten.

Wenn das der Fall ist, könnten Sie auch den AI Helper Bot ausprobieren, der in Meta integriert ist.

[Jagster (Jakke Flemming)]

@Tris20

Oben rechts auf dieser Seite sehen Sie vielleicht auch ein kleines Robotersymbol, wie unten

Die meisten von uns sehen es nicht. Aber es gibt immer ask.discourse.com

[Tris20 (Tristan)]

@Jagster

Die meisten von uns sehen es nicht. Aber es gibt immer ask.discourse.com

Ja, ich konnte mich nicht erinnern, ob dies immer noch nur eine Sache für Vertrauensstufe 3 war oder nicht. Guter Hinweis auf die Website ask.discourse.com.

Als Referenzbeispiel habe ich „Schreibe eine Discourse-Daten-Explorer-Abfrage, die eine Liste aller Benutzer zurückgibt, die das Wort „Software“ gesagt haben“ in die Texteingabezeile von ask.discourse.com eingegeben und folgende Abfrage zurückerhalten:

SELECT 
    p.user_id, 
    u.username,
    COUNT(p.id) AS post_count
FROM 
    posts p
JOIN 
    users u ON u.id = p.user_id
WHERE 
    p.raw ILIKE '%software%'
GROUP BY 
    p.user_id, u.username
ORDER BY 
    post_count DESC;

Ziemlich vernünftig. Ich kann auch bestätigen, dass es deutlich komplexere Abfragen als diese durchführt.

[GuidoD (Guido Drehsen)]

Der Datenexport des Datenexplorers funktioniert mit den neuesten Discourse- und Data Explorer-Updates, die ich vor etwa zwei Stunden installiert habe, nicht mehr. Die Daten selbst werden zwar korrekt erstellt, können aber nicht mehr exportiert werden.

Wenn Sie auf die JSON- oder CSV-Schaltflächen klicken, erscheint nur ein kurzer Blitz und es passiert nichts weiter. Vor etwa zwei Wochen hat es noch funktioniert.

In der Webbrowserkonsole sehe ich den folgenden Fehler:
CSV:

Uncaught TypeError: this.args.query is undefined
    _downloadResult query-result.js:310
    downloadResultCsv query-result.js:287
    _triggerAction d-button.gjs:160
    Ember 12
    _triggerAction d-button.gjs:157
    click d-button.gjs:106

JSON:

Uncaught TypeError: this.args.query is undefined
    _downloadResult query-result.js:310
    downloadResultJson query-result.js:283
    _triggerAction d-button.gjs:160
    Ember 12
    _triggerAction d-button.gjs:157
    click d-button.gjs:106

[pento (Gary)]

Danke für die Fehlerberichterstattung, @GuidoD!

Ich habe heute früher eine Korrektur für dieses Problem zusammengeführt. Bitte versuchen Sie, ein Update durchzuführen und bestätigen Sie, ob es für Sie funktioniert.

FIX: Query downloads were being passed an incorrect query object.

[GuidoD (Guido Drehsen)]

@pento

Bitte versuchen Sie das Update und bestätigen Sie, dass es für Sie funktioniert.

Danke für die schnelle Korrektur.
Ich kann bestätigen, dass es wieder einwandfrei funktioniert.

[GuidoD (Guido Drehsen)]

Bei einer kleinen Datenmenge funktionieren der Export nach JSON und CSV beide einwandfrei. Bei einer größeren Datenmenge funktioniert der CSV-Export einwandfrei, aber der JSON-Export führt zu einem nginx 502 Bad Gateway (wahrscheinlich aufgrund eines Timeouts nach 30 Sekunden, da die Erstellung der JSON-Datei länger als 30 Sekunden dauert).
Gibt es eine einfache Möglichkeit, den nginx-Timeout-Wert zu erhöhen?

Wenn ich den Zeitrahmen der Abfrage reduziere, ist die CSV-Datei 12,9 MB und die JSON-Datei 645 MB groß. Die gesamte CSV-Datei ist 13,5 MB groß, also nur etwas größer, aber die JSON-Datei wird aufgrund des nginx-Fehlers nicht erstellt.

Oder vielleicht schlägt die Erstellung der JSON-Datei aufgrund seltsamer Daten fehl. Erstellt die Erstellung der JSON-Datei eine Protokolldatei?

[riking (Kane York)]

Die JSON-Abfragen werden standardmäßig mit einem höheren äußeren LIMIT ausgeführt als die CSV-Abfragen. Fügen Sie eine benutzerdefinierte Paginierung innerhalb der Abfrage hinzu, um sicherzustellen, dass sie rechtzeitig abgeschlossen wird.

[GregorSondermeier]

Ist es möglich, UPDATE-Anweisungen aus dem Data Explorer auszuführen?

Ich versuche, eine Massenaktualisierung einer bestimmten Tabelle durchzuführen, erhalte aber diesen Fehler:

PG::FeatureNotSupported: FEHLER:  WITH-Abfrage „query“ hat keine RETURNING-Klausel
ZEILE 29:   ) SELECT * FROM query

[riking (Kane York)]

Nein, Data Explorer führt nur schreibgeschützte Transaktionen aus. (Wenn Sie Ihre Abfrage mit einer RETURNING-Klausel aktualisieren würden, würden Sie eine schreibgeschützte Transaktionsfehlermeldung erhalten.)

Wenn Sie selbst hosten, verwenden Sie eine der Anleitungen „launcher enter“, wie z. B.

Edit a user preference for everyone or a subset of users

This guide explains how to edit a user preference for everyone or a subset of users in Discourse. Required user level: System Administrator Console access is required. If you need to update the user preference for all of your users or a large subset of users, you can do so via the rails console. Summary In this guide, you’ll learn: How to access the Rails console for making bulk changes Examples of modifying user preferences How to identify se…

Wenn Sie Ihr UPDATE bereits entworfen haben, können Sie stattdessen psql discourse anstelle von rails c verwenden.

Wenn Sie sich auf einem gehosteten Dienst befinden, wenden Sie sich an den Support, um die Änderung ausführen zu lassen.

[GregorSondermeier]

Danke für die Antwort. Macht Sinn. Wir nutzen einen Hosting-Service, also werde ich ihren Support kontaktieren.

[Naman_Gala]

Wenn ich eine SQL-Abfrage mit der Moderator-Gruppe teile, wie können die Benutzer in der Moderator-Gruppe die Abfrage von ihrem Konto aus ausführen? Sie können das Data Explorer-Plugin nicht sehen.