Explorateur de données Discourse

[Discourse]

	Résumé	L’Explorateur de données Discourse vous permet d’exécuter des requêtes SQL sur votre base de données en direct, afin de générer des rapports statistiques à jour en temps réel.
	Guide d’installation	Ce plugin est intégré au cœur de Discourse. Aucune installation séparée du plugin n’est nécessaire.

Comme il s’agit d’un plugin official maintenu par l’équipe Discourse, les demandes de Support, de signalement de Contribute > Bug, d’améliorations de l’expérience utilisateur (Contribute > UX) et de nouvelles fonctionnalités (Contribute > Feature) peuvent être soumises dans les catégories respectives ici sur Meta, en utilisant l’étiquette appropriée du plugin. Cliquez sur un lien ci-dessous pour en démarrer un.

Support Bug UX Fonctionnalité

Si vous cherchez des exemples ou de l’aide pour des requêtes personnalisées, vous trouverez de nombreux sujets dans notre catégorie #data-reporting sous l’étiquette sql-query. Si aucun ne correspond à vos besoins spécifiques, n’hésitez pas à créer un nouveau sujet pour demander de l’aide à la communauté. Aide sur les requêtes

Hébergé par nous ? Ce plugin est disponible dans nos offres Business et Entreprise. Data Explorer | Discourse - Civilized Discussion

Après avoir installé le plugin, rendez-vous sur /admin/plugins.

Cliquez sur le bouton « Paramètres » et activez data explorer enabled, puis revenez en arrière et actualisez la page.
Un nouvel onglet nommé « Explorateur de données » devrait maintenant apparaître dans la navigation empilée. Sélectionnez-le ou rendez-vous directement sur /admin/plugins/discourse-data-explorer, puis utilisez les boutons +, Importer ou Exécuter pour commencer.

Requêtes par défaut

Sur une installation fraîche, l’Explorateur de données est livré avec plusieurs requêtes permettant d’extraire des informations de l’activité de votre forum. Ouvrez n’importe quelle requête et cliquez sur Exécuter pour l’essayer.

Voici à quoi ressemblent les requêtes par défaut.

Note : Les requêtes par défaut sont extraites de ce fichier : discourse-data-explorer/lib/discourse_data_explorer/queries.rb at main · discourse/discourse-data-explorer · GitHub

Si vous avez une requête géniale que vous souhaitez partager avec tout le monde, faites une PR exactement comme celle-ci.

Les requêtes par défaut ne peuvent pas être modifiées. N’hésitez pas à copier le code SQL et à le coller dans une nouvelle requête si vous souhaitez les modifier.

Écrire des requêtes

Lorsque vous cliquez sur l’un des boutons Modifier d’une vue de requête ou que vous démarrez une nouvelle requête d’exploration, vous êtes présenté avec un écran comme celui ci-dessous :

Les deux premiers champs sont le nom et la description de la requête. Le nom est ce que vous sélectionnez dans la liste déroulante, et la description doit être utilisée pour expliquer, par exemple, quoi saisir dans les paramètres de la requête ou décrire quelles données sont interrogées.

Le volet de gauche est l’endroit où vous écrivez la requête SQL. Une coloration syntaxique et une vérification mineure sont fournies.

L’explorateur de schéma se trouve sur le côté droit du volet d’édition. Notez les noms de colonnes en rouge avec un symbole d’avertissement, tels que email, password_hash, salt — ce sont des colonnes « Sensibles ». Évitez de les interroger si possible ; réévaluez l’idée de les interroger si vous êtes dans un endroit public, et ne publiez absolument pas de captures d’écran de requêtes vérifiant ces colonnes sans réfléchir à ce que vous faites.

Exécution automatique des requêtes

Bien que vous puissiez toujours exécuter une requête en cliquant sur le bouton Exécuter, vous pouvez gagner du temps lors du chargement d’une requête en ajoutant le paramètre run à l’URL.

Par exemple : /admin/plugins/discourse-data-explorer/queries/123?run

Lorsque ce paramètre est ajouté à l’URL, la requête s’exécute dès le chargement de la page, vous n’avez donc pas besoin de cliquer sur le bouton Exécuter pour voir les résultats. Cela est particulièrement utile pour les requêtes que vous exécutez fréquemment, vous permettant de les ajouter à vos favoris ou à votre barre latérale avec le paramètre run inclus pour un rapport en un clic.

Importer des requêtes

Pour un exemple, importons-en une que j’ai écrite. Téléchargez ce fichier, puis ouvrez la boîte de dialogue d’importation et sélectionnez le fichier à télécharger ou collez la requête dans la zone de texte. Cliquez sur Importer pour l’enregistrer, puis cliquez sur Exécuter pour voir les résultats.

most-common-likers.dcquery (1).json (442 octets)

Il semble que tous les développeurs de Discourse s’apprécient beaucoup

Rechercher des requêtes

Si vous avez accumulé trop de requêtes géniales, pas de problème ! La barre de recherche peut vous aider à filtrer par titres et descriptions.

Autoriser les groupes non membres du personnel à exécuter des requêtes

Vous pouvez ajouter des groupes spécifiques (y compris les modérateurs) à une requête pour leur accorder l’accès :

Après avoir enregistré, vous pouvez le trouver sur la page des Groupes pour ce groupe particulier sous l’onglet Rapports :

Cliquez sur n’importe quelle requête pour l’ouvrir, puis sur le bouton Exécuter pour voir les résultats. Vous pouvez également ajouter aux favoris les rapports de groupe en cliquant sur le bouton Ajouter aux favoris.

Partager des requêtes avec des paramètres prédéfinis

Si vous avez inclus des paramètres définis par l’utilisateur dans votre requête, vous pouvez partager un lien vers la requête et inclure les paramètres dans l’URL afin qu’ils soient préremplis lors du chargement de la page.

Vous devez inclure les paramètres dans l’URL au format params={"nom_paramètre":"valeur"}. Séparez plusieurs paramètres par des virgules. Par exemple :

discourse.example.com/g/my-group/reports/6?params={"param1":"valeur1","param2":"valeur2"}

En combinant cela avec le paramètre run mentionné ci-dessus, vous pouvez partager un rapport avec des paramètres prédéfinis qui s’exécute automatiquement lors du chargement.

Limites des résultats et exportation des requêtes

Avec des requêtes volumineuses, vous remarquerez peut-être qu’il existe une limite au nombre de lignes affichées par l’Explorateur de données. Par défaut, cette limite est fixée à 1000 lignes. Cela vise à empêcher les requêtes excessivement volumineuses de ralentir ou de perturber les performances de votre instance Discourse.

Si vous souhaitez contourner cette limite, vous avez plusieurs options :

1. Pagination : Vous pouvez paginer vos résultats. Au lieu de tenter de retourner tous les résultats d’un coup, vous pouvez écrire votre requête pour retourner une plage spécifique de résultats. Vous pouvez ensuite ajuster cette plage pour visualiser différentes sections de vos données. Cela n’augmentera pas la limite, mais vous permettra de visualiser toutes vos données par sections.
2. Augmenter la limite : Si vous avez accès au serveur Discourse et que vous êtes à l’aise pour modifier les paramètres de Discourse, vous pouvez augmenter la limite. Cependant, cela doit être fait avec prudence. Augmenter la limite peut charger excessivement votre serveur si vous ne faites pas attention, surtout si plusieurs utilisateurs exécutent des requêtes volumineuses simultanément.
3. Télécharger les résultats : Vous avez également la possibilité de télécharger les résultats de la requête au lieu de les visualiser directement dans Discourse en cliquant sur le bouton JSON ou CSV après avoir exécuté la requête. Les données téléchargées d’une requête au format JSON ou CSV auront une limite de résultats beaucoup plus élevée de 10 000 lignes. À des fins programmatiques, privilégiez le format JSON, ou si vous souhaitez travailler sur les données dans une application tableur, le format CSV pourrait être plus pratique.

Il est généralement préférable d’essayer d’écrire des requêtes plus efficaces ou de filtrer vos données afin de ne récupérer que ce dont vous avez besoin, plutôt que de tenter de contourner la limite.

Vous pouvez également exporter la requête SQL elle-même au format .JSON en cliquant sur le bouton Exporter. Les requêtes exportées de cette manière peuvent ensuite être importées dans d’autres sites Discourse ou utilisées avec des applications tierces.

Plan de requête

La case à cocher « Inclure le plan de requête » peut être utilisée pour mieux comprendre et optimiser vos requêtes SQL.

Lorsque vous cochez cette case et exécutez une requête, Discourse affiche la séquence d’opérations utilisées pour accéder aux données dans la base de données Discourse. Cela peut inclure des opérations telles que des scans, des jointures, des tris et d’autres actions de base de données. En examinant le plan de requête, vous pouvez voir exactement comment la base de données exécute votre requête.

La série de tutoriels sur l’Explorateur de données

Nous avons également une série dédiée de sql-tutorial sur l’Explorateur de données ! Si vous souhaitez en savoir plus sur l’écriture de requêtes SQL dans Discourse, nous vous recommandons vivement de parcourir les sujets de cette série :

• Tutoriel sur l’Explorateur de données - Partie 1 - Écrire votre première requête
• Tutoriel sur l’Explorateur de données - Partie 2 - Bases de SQL pour Discourse
• Utilisation des paramètres dans les requêtes de l’Explorateur de données
• Mise en forme des résultats de table de l’Explorateur de données

[HamMan2118]

Bonjour !

J’ai donc demandé dans ce fil de discussion comment copier les liens de tous les sujets d’une requête de recherche. On m’a dirigé ici. J’ai donc demandé au responsable de notre forum si nous avions ce plugin installé, ce qui est le cas. Cependant, nous ne savons pas comment l’utiliser pour copier tous les liens d’une requête de recherche dans un fichier CSV à l’aide de ce plugin. Quelqu’un a-t-il déjà effectué cette action et pourrait nous indiquer la bonne direction ?

Notez que je suis un utilisateur régulier du forum, je n’ai pas de pouvoirs de staff. Cependant, je transmets cette information au responsable du site qui en a, et qui peut le faire pour moi.

Merci d’avance !

[Arkshine]

Bonjour Preston !

Le plugin Data Explorer vous permet de créer des requêtes SQL.

Vous voulez en créer une nouvelle qui liste les sujets que vous recherchez.

Ensuite, lorsque vous exécutez la requête, vous verrez un bouton CSV pour exporter le résultat dans un fichier CSV.

J’espère que cela vous aidera !

Faites-nous savoir si vous avez besoin d’aide supplémentaire pour créer la requête !

[HamMan2118]

Merci ! Je vais transmettre : câlins :

[gormus (Osman Görmüş)]

Salut, j’ai une demande de fonctionnalité pour cet excellent plugin.

Certains des rapports que je crée à l’aide de l’Explorateur de données seraient très utiles à mon équipe si je pouvais les lister sur la page Rapports du tableau de bord (/admin/reports).

Serait-il possible d’ajouter une option à chaque requête de l’Explorateur de données pour qu’elle soit listée sur la page Rapports ? Merci.

Par exemple :

• Lister cette requête personnalisée sur la page Rapports

[kOS (KilianS)]

Merci pour cette fonctionnalité !

J’explore comment nous pourrions écrire des métriques personnalisées. Nous utilisons Discourse en parallèle avec Workadvent.re (un outil de collaboration A/V 2D basé sur des avatars).
J’exécute un script personnalisé pour enregistrer les activités dans une feuille Google via un webhook. Pour avoir toutes les choses centralisées dans notre outil principal (Discourse), ce serait formidable d’avoir ces données imprimées dans Discourse…
Des astuces ?!

[davidgs (David G. Simmons)]

J’espérais vraiment qu’il existe un générateur de requêtes qui aiderait à écrire du SQL. Mon SQL est vieux et rouillé, et le taper à la main est source d’erreurs et prend du temps. Ce serait bien s’il y avait un moyen plus simple !

[Tris20 (Tristan)]

Salut @davidgs, bienvenue sur Meta

@davidgs

J’espérais vraiment qu’il existe un générateur de requêtes qui aiderait à écrire du SQL.

Avez-vous essayé d’utiliser un LLM comme ChatGPT ? Il a une compréhension raisonnable de Discourse et a été assez fiable lorsque j’avais également besoin de créer des requêtes d’exploration de données.

J’écris souvent mes invites comme “Écrire une requête d’exploration de données Discourse qui renvoie x,y,z à partir de a,b,c où…” et j’obtiens quelque chose d’assez raisonnable.

Dans le coin supérieur droit de cette page, vous pourriez également voir une petite icône de robot comme ci-dessous.

Si c’est le cas, vous pourriez également essayer le Bot d’aide IA qui est intégré à Meta.

[Jagster (Jakke Flemming)]

@Tris20

Dans le coin supérieur droit de cette page, vous pourriez également voir une petite icône de robot comme ci-dessous

La plupart d’entre nous ne le voient pas. Mais il y a toujours ask.discourse.com

[Tris20 (Tristan)]

@Jagster

La plupart d’entre nous ne le voient pas. Mais il y a toujours ask.discourse.com

Ouais, je ne me souvenais pas si c’était toujours juste une chose de niveau de confiance 3 ou pas. Bonne idée pour le site ask.discourse.com.

À titre d’exemple, j’ai tapé écrire une requête d'explorateur de données discourse qui renvoie une liste de tous les utilisateurs qui ont dit le mot « logiciel » dans la barre de saisie de ask.discourse.com et j’ai obtenu la requête suivante :

SELECT 
    p.user_id, 
    u.username,
    COUNT(p.id) AS post_count
FROM 
    posts p
JOIN 
    users u ON u.id = p.user_id
WHERE 
    p.raw ILIKE '%software%'
GROUP BY 
    p.user_id, u.username
ORDER BY 
    post_count DESC;

Assez raisonnable. Je peux aussi garantir qu’il effectue des requêtes beaucoup plus complexes que celle-ci.

[GuidoD (Guido Drehsen)]

L’exportation des données de l’explorateur de données ne fonctionne plus avec les dernières mises à jour de Discourse et de l’explorateur de données que j’ai installées il y a environ deux heures. Les données elles-mêmes sont créées correctement mais ne peuvent plus être exportées.

Cliquer sur les boutons JSON ou CSV provoque juste un bref flash et rien d’autre ne se passe. Cela fonctionnait bien il y a environ deux semaines.

Dans la console du navigateur, je vois l’erreur suivante :
CSV :

Uncaught TypeError: this.args.query is undefined
    _downloadResult query-result.js:310
    downloadResultCsv query-result.js:287
    _triggerAction d-button.gjs:160
    Ember 12
    _triggerAction d-button.gjs:157
    click d-button.gjs:106

JSON :

Uncaught TypeError: this.args.query is undefined
    _downloadResult query-result.js:310
    downloadResultJson query-result.js:283
    _triggerAction d-button.gjs:160
    Ember 12
    _triggerAction d-button.gjs:157
    click d-button.gjs:106

[pento (Gary)]

Merci pour le rapport de bug, @GuidoD !

J’ai fusionné un correctif pour ce problème plus tôt aujourd’hui, veuillez essayer de mettre à jour et confirmer que cela fonctionne pour vous.

FIX: Query downloads were being passed an incorrect query object.

[GuidoD (Guido Drehsen)]

@pento

veuillez essayer de mettre à jour et confirmer que cela fonctionne pour vous.

merci pour la correction rapide.
Je peux confirmer que cela fonctionne à nouveau correctement.

[GuidoD (Guido Drehsen)]

pour une petite quantité de données, l’exportation en JSON et CSV fonctionne correctement. Mais pour une plus grande quantité de données, l’exportation CSV fonctionne bien, mais l’exportation JSON renvoie une erreur 502 bad gateway sur nginx (probablement en raison d’un délai d’attente après 30 secondes, car la création du fichier JSON prend plus de 30 secondes).
Existe-t-il un moyen simple d’augmenter la valeur du délai d’attente de nginx ?

Si je réduis la période de la requête, le fichier CSV fait 12,9 Mo et le fichier JSON fait 645 Mo. Le fichier CSV total fait 13,5 Mo, donc seulement un peu plus gros, mais le fichier JSON n’est pas créé en raison de l’erreur nginx.

Ou peut-être que la création du fichier JSON échoue en raison de données étranges. La création du fichier JSON crée-t-elle un fichier journal ?

[riking (Kane York)]

Les requêtes JSON s’exécutent avec une limite externe plus élevée par défaut par rapport aux requêtes CSV. Ajoutez une pagination personnalisée dans la requête pour vous assurer qu’elle se termine à temps.

[GregorSondermeier]

Est-il possible d’exécuter des instructions UPDATE à partir de l’Explorateur de données ?

J’essaie de faire une mise à jour massive d’une certaine table, mais j’obtiens cette erreur :

PG::FeatureNotSupported: ERROR:  WITH query "query" does not have a RETURNING clause
LINE 29:   ) SELECT * FROM query

[riking (Kane York)]

Non, Data Explorer n’exécute que des transactions en lecture seule. (Si vous aviez mis à jour votre requête pour inclure une clause RETURNING, vous obtiendriez une erreur de transaction en lecture seule.)

Si vous auto-hébergez, utilisez l’un des guides « launcher enter », comme

Edit a user preference for everyone or a subset of users

This guide explains how to edit a user preference for everyone or a subset of users in Discourse. Required user level: System Administrator Console access is required. If you need to update the user preference for all of your users or a large subset of users, you can do so via the rails console. Summary In this guide, you’ll learn: How to access the Rails console for making bulk changes Examples of modifying user preferences How to identify se…

Si vous avez déjà conçu votre mise à jour, vous pouvez utiliser psql discourse au lieu de rails c.

Si vous êtes sur un service hébergé, contactez le support pour qu’il exécute la modification.

[GregorSondermeier]

Merci pour la réponse. Cela a du sens. Nous utilisons un service hébergé, je vais donc contacter leur support.

[Naman_Gala]

Si je partage une requête SQL avec le groupe des modérateurs, comment les utilisateurs du groupe des modérateurs peuvent-ils exécuter la requête depuis leur compte ? Ils ne peuvent pas voir le plugin Data Explorer.