Esploratore di dati Discourse

[Discourse]

	Riepilogo	Discourse Data Explorer ti consente di eseguire query SQL direttamente sul tuo database live, permettendo di generare report statistici aggiornati in tempo reale.
	Guida all’installazione	Questo plugin è integrato nel nucleo di Discourse. Non è necessario installare il plugin separatamente.

Poiché si tratta di un plugin #ufficiale mantenuto dal team di Discourse, le richieste di #supporto, #contributo:bug, #contributo:ux e #contributo:funzionalità possono essere avanzate nelle rispettive categorie qui su Meta, utilizzando l’etichetta appropriata del plugin. Clicca su un link qui sotto per iniziare.

Supporto Bug UX Funzionalità

Se stai cercando esempi o supporto per query personalizzate, puoi trovare molti argomenti nella nostra categoria #reporting-dati sotto l’etichetta sql-query. Se non ne trovi uno adatto alle tue esigenze specifiche, sentiti libero di creare un nuovo argomento per chiedere aiuto alla community. Aiuto query

Ospitato da noi? Questo plugin è disponibile nei nostri piani Business ed Enterprise. Data Explorer | Discourse - Civilized Discussion

Dopo aver installato il plugin, vai su /admin/plugins.

Clicca sul pulsante “Impostazioni” e attiva data explorer enabled, poi torna indietro e ricarica la pagina.
Dovrebbe ora esserci una scheda nella navigazione a stack chiamata “Data Explorer”. Selezionala o vai su /admin/plugins/discourse-data-explorer, quindi usa i pulsanti +, Importa o Esegui per iniziare.

Query predefinite

In una nuova installazione, l’esploratore di dati include ora diverse query che possono aiutarti a trarre informazioni dall’attività del tuo forum. Apri una qualsiasi query e clicca su Esegui per provarla.

Ecco come appaiono le query standard.

Nota: Le query predefinite vengono caricate da questo file: discourse-data-explorer/lib/discourse_data_explorer/queries.rb at main · discourse/discourse-data-explorer · GitHub

Se hai una query fantastica che vuoi che tutti abbiano, crea una PR proprio come questa.

Le query predefinite non possono essere modificate; sentiti libero di copiare la query SQL e incollarla in una nuova query se desideri modificarle.

Scrittura di query

Quando clicchi su uno dei pulsanti Modifica su una vista di query, o inizi una nuova Query Explorer, ti viene presentata una schermata simile a quella sottostante:

Le prime due caselle in alto sono il nome e la descrizione della query. Il nome è ciò che stai selezionando nella casella a discesa, e la descrizione dovrebbe essere utilizzata per cose come spiegare cosa inserire nei parametri della query o per descrivere quali dati vengono interrogati.

Il pannello a sinistra è dove scrivi la query SQL. Viene fornito un minimo evidenziazione della sintassi e controllo.

L’esploratore dello schema si trova sul lato destro del pannello di scrittura. Nota i nomi delle colonne rossi con un simbolo di avvertimento, come email, password_hash, salt - questi sono colonne “Sensibili”. Cerca di evitarne l’interrogazione se possibile, ripensaci se devi interrogarle in un luogo pubblico, e non pubblicare assolutamente screenshot di query che controllano quelle colonne senza pensare a cosa stai facendo prima.

Esecuzione automatica delle query

Anche se puoi sempre eseguire una query cliccando sul pulsante Esegui, puoi risparmiare tempo quando carichi una query aggiungendo il parametro run all’URL.

Ad esempio: /admin/plugins/discourse-data-explorer/queries/123?run

Quando questo parametro viene aggiunto all’URL, la query verrà eseguita non appena carichi la pagina, quindi non è necessario cliccare sul pulsante Esegui per vedere i risultati. Questo è particolarmente utile per le query che esegui frequentemente, permettendoti di crearne un segnalibro o di aggiungerle alla tua barra laterale con il parametro run incluso per un report con un solo clic.

Importazione di query

Per un esempio, importiamo una che ho scritto. Scarica questo file, poi apri la finestra di dialogo di importazione e seleziona il file da caricare o incolla la query nella casella di testo. Clicca su Importa per salvarla e poi clicca su Esegui per vedere i risultati.

most-common-likers.dcquery (1).json (442 Bytes)

Sembra che tutti gli sviluppatori di Discourse si piacciano molto

Ricerca di query

Se hai accumulato troppe query fantastiche, nessun problema! La barra di ricerca può aiutarti a filtrare per titoli e descrizioni.

Consenti ai gruppi non staff di eseguire query

Puoi aggiungere gruppi specifici (inclusi i moderatori) a una query per concedere loro l’accesso:

Dopo il salvataggio, puoi trovarlo dalla pagina dei Gruppi per quel particolare gruppo nella scheda Report:

Clicca su qualsiasi query per aprirla e poi sul pulsante Esegui per vedere i risultati. Puoi anche creare un segnalibro ai report di gruppo cliccando sul pulsante Segnalibro.

Condivisione di query con parametri predefiniti

Se hai incluso parametri definiti dall’utente nella tua query, puoi condividere un link alla query e includere i parametri nell’URL in modo che vengano compilati automaticamente quando la pagina viene caricata.

Devi includere i parametri nell’URL in questo formato params={"parameter_name":"value"}. Separa i parametri multipli con virgole. Ad esempio:

discourse.example.com/g/my-group/reports/6?params={"param1":"value1","param2":"value2"}

Combinato con il parametro run menzionato sopra, puoi condividere un report con parametri predefiniti che viene eseguito automaticamente al caricamento.

Limiti dei risultati ed esportazione di query

Con query di grandi dimensioni, potresti notare che c’è un limite al numero di righe che Data Explorer visualizzerà. Di default, il limite è impostato a 1000 righe. Questo è per evitare che query eccessivamente grandi rallentino o interrompano le prestazioni della tua istanza Discourse.

Se vuoi aggirare questo limite, hai alcune opzioni:

1. Paginazione: Puoi impaginare i tuoi risultati. Invece di cercare di restituire tutti i risultati in una volta, puoi scrivere la tua query per restituire un intervallo specifico di risultati. Puoi poi regolare questo intervallo per visualizzare diverse sezioni dei tuoi dati. Questo non aumenterà il limite, ma ti permetterà di visualizzare tutti i tuoi dati a sezioni.
2. Aumenta il limite: Se hai accesso al server Discourse e ti senti a tuo agio nel apportare modifiche alle impostazioni di Discourse, puoi aumentare il limite. Tuttavia, questo dovrebbe essere fatto con cautela. Aumentare il limite può mettere sotto stress il tuo server se non si è attenti, specialmente se più utenti stanno eseguendo query di grandi dimensioni contemporaneamente.
3. Scarica i risultati: Hai anche l’opzione di scaricare i risultati della query invece di visualizzarli direttamente in Discourse cliccando sui pulsanti JSON o CSV dopo aver eseguito la query. I dati scaricati da una query in formato JSON o CSV avranno un limite di risultati molto più alto di 10.000 righe. Per scopi programmatici, vuoi optare per il formato Json, o se desideri lavorare sui dati in un’applicazione di fogli di calcolo, il formato CSV potrebbe essere più conveniente.

È generalmente una buona idea cercare di scrivere query più efficienti, o di filtrare i tuoi dati in modo da recuperare solo ciò di cui hai bisogno, invece di cercare di aggirare il limite.

Puoi anche esportare la query SQL stessa in formato .JSON cliccando sul pulsante Esporta. Le query esportate con questo metodo possono poi essere importate in altri siti Discourse, o utilizzate con applicazioni di terze parti.

Piano di query

La casella di controllo “Includi piano di query” può essere utilizzata per una migliore comprensione e ottimizzazione delle tue query SQL.

Quando selezioni questa casella ed esegui una query, Discourse visualizzerà la sequenza di operazioni utilizzate per accedere ai dati nel database di Discourse. Questo può includere operazioni come scansioni, join, ordinamenti e altre azioni del database. Esaminando il piano di query, puoi vedere esattamente come il database sta eseguendo la tua query.

La serie di tutorial di Data Explorer

Abbiamo anche una serie dedicata sql-tutorial su Data Explorer! Se sei interessato a imparare di più sulla scrittura di query SQL in Discourse, ti consigliamo vivamente di leggere gli argomenti in questa serie:

• Tutorial Data Explorer - Parte 1 - Scrivere la tua prima query
• Tutorial Data Explorer - Parte 2 - Basi di SQL di Discourse
• Utilizzo dei parametri nelle query di Data Explorer
• Formattazione dei risultati delle tabelle di Data Explorer

[HamMan2118]

Ciao!

Quindi ho chiesto in questo thread come copiare i link di tutti gli argomenti in una query di ricerca. Sono stato indirizzato qui. Quindi, ho chiesto al manager di il nostro forum se avessimo questo plugin installato, cosa che abbiamo. Tuttavia, non sappiamo come usarlo per copiare tutti i link da una query di ricerca in un file CSV usando questo plugin. Qualcuno ha già fatto questa operazione e magari può indicarci la giusta direzione?

Nota che sono un utente regolare del forum, non ho poteri di staff. Tuttavia, sto riportando queste informazioni al gestore del sito che li ha e che può farlo per me.

Grazie in anticipo!

[Arkshine]

Ciao Preston!

Il plugin Data Explorer ti permette di creare query SQL.

Vuoi crearne una nuova che elenchi gli argomenti che cerchi.

Quindi, quando esegui la query, vedrai un pulsante CSV per esportare il risultato in un file CSV.

Spero che questo aiuti!

Facci sapere se hai bisogno di ulteriore aiuto per creare la query!

[HamMan2118]

Grazie! Lo riferirò :abbracci:

[gormus (Osman Görmüş)]

Ciao, ho una richiesta di funzionalità per questo ottimo plugin.

Alcuni dei report che creo utilizzando Data Explorer, sarebbero molto utili al mio team se potessi elencarli nella pagina Dashboard Reports (/admin/reports).

Sarebbe possibile aggiungere un’opzione a ciascuna query di Data Explorer per essere elencata nella pagina Reports? Grazie.

Ad esempio:

• Elenca questa query personalizzata nella pagina Reports

[kOS (KilianS)]

Grazie per questa funzionalità!

Sto esplorando come potremmo scrivere metriche personalizzate. Stiamo utilizzando Discourse insieme a Workadventu.re (uno strumento di collaborazione A/V basato su avatar 2D).
Sto eseguendo uno script personalizzato lì per scrivere attività in un foglio Google tramite un webhook. Per avere tutte le cose centralizzate nel nostro strumento principale (Discourse), sarebbe fantastico avere questi dati stampati in Discourse…
Qualche consiglio?!

[davidgs (David G. Simmons)]

Speravo davvero che ci fosse un generatore di query che aiutasse a scrivere SQL. Il mio SQL è vecchio e arrugginito e scriverlo a mano è soggetto a errori e richiede tempo. Sarebbe bello se ci fosse un modo più semplice!

[Tris20 (Tristan)]

Ciao @davidgs, benvenuto su Meta

@davidgs

Speravo davvero che ci fosse un query builder che aiutasse a scrivere SQL.

Hai provato a usare un LLM come ChatGPT? Ha una discreta comprensione di Discourse ed è stato abbastanza affidabile quando ho dovuto anche creare query per l’esplorazione dei dati.

Spesso scrivo i miei prompt come “Scrivi una query di esplorazione dati di Discourse che restituisca x,y,z da a,b,c dove…” e ottengo qualcosa di abbastanza ragionevole.

Nell’angolo in alto a destra di questa pagina potresti anche vedere una piccola icona di robot come quella qui sotto.

Se è così, potresti anche provare l’AI Helper Bot integrato con Meta.

[Jagster (Jakke Flemming)]

@Tris20

In alto a destra di questa pagina potresti anche vedere una piccola icona di robot come sotto

La maggior parte di noi non la vede. Ma c’è sempre ask.discourse.com

[Tris20 (Tristan)]

@Jagster

La maggior parte di noi non lo vede. Ma c’è sempre ask.discourse.com

Sì, non ricordavo se questa fosse ancora solo una cosa di livello di fiducia 3 o meno. Buona idea per il sito ask.discourse.com.

Come esempio di riferimento, ho inserito scrivi una query di esplorazione dati di discourse che restituisca un elenco di tutti gli utenti che hanno detto la parola "software" nella barra di inserimento del testo di ask.discourse.com e ho ottenuto la seguente query:

SELECT 
    p.user_id, 
    u.username,
    COUNT(p.id) AS post_count
FROM 
    posts p
JOIN 
    users u ON u.id = p.user_id
WHERE 
    p.raw ILIKE '%software%'
GROUP BY 
    p.user_id, u.username
ORDER BY 
    post_count DESC;

Abbastanza ragionevole. Posso anche garantire che esegue query significativamente più complesse di questa.

[GuidoD (Guido Drehsen)]

L’esportazione dei dati dall’esplora dati non funziona più con gli ultimi aggiornamenti di Discourse ed Esplora dati che ho installato circa due ore fa. I dati vengono creati correttamente ma non è più possibile esportarli.

Fare clic sui pulsanti JSON o CSV provoca solo un breve lampeggio e non succede nient’altro. Ha funzionato bene circa due settimane fa.

Nella console del browser web vedo il seguente errore:
CSV:

Uncaught TypeError: this.args.query is undefined
    _downloadResult query-result.js:310
    downloadResultCsv query-result.js:287
    _triggerAction d-button.gjs:160
    Ember 12
    _triggerAction d-button.gjs:157
    click d-button.gjs:106

JSON:

Uncaught TypeError: this.args.query is undefined
    _downloadResult query-result.js:310
    downloadResultJson query-result.js:283
    _triggerAction d-button.gjs:160
    Ember 12
    _triggerAction d-button.gjs:157
    click d-button.gjs:106

[pento (Gary)]

Grazie per la segnalazione del bug, @GuidoD!

Ho unito una correzione per questo problema in precedenza oggi, prova ad aggiornare e conferma che funziona per te.

FIX: Query downloads were being passed an incorrect query object.

[GuidoD (Guido Drehsen)]

@pento

per favore prova ad aggiornare e conferma che funziona per te.

grazie per la rapida soluzione.
Confermo che funziona di nuovo correttamente.

[GuidoD (Guido Drehsen)]

per una piccola quantità di dati, l’esportazione in JSON e CSV funzionano correttamente. Ma per una maggiore quantità di dati, l’esportazione CSV funziona bene ma l’esportazione JSON genera un errore nginx 502 bad gateway (probabilmente a causa di un timeout dopo 30 secondi, poiché la creazione del file JSON richiede più di 30 secondi).
Esiste un modo semplice per aumentare il valore di timeout di nginx?

Se riduco l’intervallo di tempo della query, il file CSV è di 12,9 MB e il file JSON è di 645 MB. Il file CSV totale è di 13,5 MB, quindi solo un po’ più grande, ma il file JSON non viene creato a causa dell’errore nginx.

O forse la creazione del file JSON sta riscontrando un errore a causa di dati anomali. La creazione del file JSON crea un file di log?

[riking (Kane York)]

Le query JSON vengono eseguite con un LIMIT esterno superiore per impostazione predefinita rispetto alle query CSV. Aggiungere la paginazione personalizzata all’interno della query per garantire il completamento in tempo.

[GregorSondermeier]

È possibile eseguire istruzioni UPDATE da Data Explorer?

Sto cercando di eseguire un aggiornamento massivo di una certa tabella, ma ottengo questo errore:

PG::FeatureNotSupported: ERROR:  WITH query "query" does not have a RETURNING clause
LINE 29:   ) SELECT * FROM query

[riking (Kane York)]

No, Data Explorer esegue solo transazioni di sola lettura. (Se aggiornassi la tua query per includere una clausola RETURNING, otterresti un errore di transazione di sola lettura.)

Se stai auto-ospitando, utilizza una delle guide “launcher enter”, come

Edit a user preference for everyone or a subset of users

This guide explains how to edit a user preference for everyone or a subset of users in Discourse. Required user level: System Administrator Console access is required. If you need to update the user preference for all of your users or a large subset of users, you can do so via the rails console. Summary In this guide, you’ll learn: How to access the Rails console for making bulk changes Examples of modifying user preferences How to identify se…

Se hai già progettato il tuo UPDATE, puoi usare psql discourse invece di rails c.

Se sei su un servizio ospitato, contatta il supporto per far eseguire la modifica.

[GregorSondermeier]

Grazie per la risposta. Ha senso. Utilizziamo un servizio ospitato, quindi contatterò il loro supporto.

[Naman_Gala]

Se condivido una query SQL con il gruppo dei moderatori, come possono gli utenti del gruppo dei moderatori eseguire la query dal proprio account? Non possono vedere il plugin Data Explorer.