Explorador de Dados do Discourse

[Discourse]

	Resumo	O Discourse Data Explorer permite que você execute consultas SQL diretamente no seu banco de dados em tempo real, possibilitando relatórios de estatísticas atualizados ao minuto.
	Guia de Instalação	Este plugin já vem incluído no núcleo do Discourse. Não há necessidade de instalar o plugin separadamente.

Como este é um plugin #oficial mantido pela equipe do Discourse, #suporte, #contribuir:bug, #contribuir:ux e #contribuir:feature podem ser solicitados nas categorias respectivas aqui no Meta, e marcados com a tag apropriada do plugin. Clique em um dos links abaixo para iniciar uma nova discussão.

Suporte Bug UX Recurso

Se você está procurando exemplos ou suporte para qualquer consulta personalizada, você pode encontrar muitos tópicos em nossa categoria #data-reporting sob a tag sql-query. Se não houver um que atenda às suas necessidades específicas, sinta-se à vontade para criar um novo tópico para pedir ajuda à comunidade. Ajuda com Consultas

Hospedado por nós? Este plugin está disponível em nossos planos Business e Enterprise. Data Explorer | Discourse - Civilized Discussion

Após instalar o plugin, acesse /admin/plugins.

Clique no botão “Configurações” e ative data explorer enabled (Data Explorer habilitado), depois retorne e recarregue a página.
Deve haver agora uma aba na navegação empilhada chamada “Data Explorer”. Selecione-a ou acesse /admin/plugins/discourse-data-explorer, em seguida, use os botões +, Importar ou Executar para começar.

Consultas padrão

Em uma instalação nova, o Data Explorer já vem com várias consultas que podem ajudar você a obter insights sobre a atividade do seu fórum. Abra qualquer consulta e clique em Executar para testá-la.

Veja como são as consultas padrão.

Nota: As consultas padrão são carregadas a partir deste arquivo: discourse-data-explorer/lib/discourse_data_explorer/queries.rb at main · discourse/discourse-data-explorer · GitHub

Se você tiver uma consulta incrível que deseja que todos tenham, faça um PR como este aqui.

As consultas padrão não podem ser editadas. Sinta-se à vontade para copiar o SQL e colá-lo em uma nova consulta se desejar modificá-las.

Escrevendo consultas

Quando você clica em qualquer um dos botões Editar em uma visualização de consulta, ou inicia uma nova Consulta do Explorer, você verá uma tela como a abaixo:

As duas caixas superiores são o nome e a descrição da consulta. O nome é o que você seleciona na caixa suspensa, e a descrição deve ser usada para coisas como explicar o que colocar nos parâmetros da consulta ou para descrever quais dados estão sendo consultados.

O painel à esquerda é onde você escreve a consulta SQL. Há uma realce de sintaxe básico e verificação fornecidos.

O explorador de esquema está no lado direito do painel de edição. Observe os nomes de coluna vermelhos com um símbolo de aviso, como email, password_hash, salt - estes são colunas “Sensíveis”. Tente evitar consultá-las se possível, reconsidere consultá-las se você estiver em um local público e, definitivamente, não publique capturas de tela de consultas verificando essas colunas sem pensar no que está fazendo primeiro.

Execução automática de consultas

Embora você sempre possa executar uma consulta clicando no botão Executar, você pode economizar tempo ao carregar uma consulta adicionando o parâmetro run à URL.

Por exemplo: /admin/plugins/discourse-data-explorer/queries/123?run

Quando este parâmetro é adicionado à URL, a consulta será executada assim que você carregar a página, então você não precisa clicar no botão Executar para ver os resultados. Isso é especialmente útil para consultas que você executa com frequência, permitindo que você as marque nos favoritos ou as adicione à sua barra lateral com o parâmetro run incluído para um relatório de um clique.

Importando consultas

Como exemplo, vamos importar uma que eu escrevi. Baixe este arquivo, depois abra a caixa de diálogo de importação e selecione o arquivo para upload ou cole a consulta na caixa de texto. Clique em Importar para salvá-la e depois clique em Executar para ver os resultados.

most-common-likers.dcquery (1).json (442 Bytes)

Parece que todos os desenvolvedores do Discourse gostam bastante uns dos outros

Pesquisando por consultas

Se você acumulou muitas consultas incríveis, sem problema! A barra de pesquisa pode ajudar você a filtrar por títulos e descrições.

Permitir que grupos não administradores executem consultas

Você pode adicionar grupos específicos (incluindo moderadores) a uma consulta para conceder acesso a ela:

Após salvar, você pode encontrá-la na página do Grupo para aquele grupo específico na aba Relatórios:

Clique em qualquer consulta para abri-la e depois no botão Executar para ver os resultados. Você também pode marcar relatórios de grupo nos favoritos clicando no botão Favoritar.

Compartilhando consultas com parâmetros predefinidos

Se você incluiu parâmetros definidos pelo usuário em sua consulta, pode compartilhar um link para a consulta e incluir os parâmetros na URL para que eles sejam preenchidos automaticamente quando a página carregar.

Você deve incluir os parâmetros na URL neste formato params={"parameter_name":"value"}. Separe múltiplos parâmetros com vírgulas. Por exemplo:

discourse.example.com/g/meu-grupo/relatorios/6?params={"param1":"valor1","param2":"valor2"}

Combinado com o parâmetro run mencionado acima, você pode compartilhar um relatório com parâmetros predefinidos que é executado automaticamente ao ser carregado.

Limites de resultados e exportação de consultas

Com consultas grandes, você pode notar que há um limite no número de linhas que o Data Explorer exibirá. Por padrão, o limite é definido para 1000 linhas. Isso é para evitar que consultas excessivamente grandes diminuam ou perturbem o desempenho da sua instância do Discourse.

Se você deseja contornar esse limite, você tem algumas opções:

1. Paginação: Você pode paginar seus resultados. Em vez de tentar retornar todos os resultados de uma vez, você pode escrever sua consulta para retornar um intervalo específico de resultados. Você pode então ajustar esse intervalo para visualizar diferentes seções dos seus dados. Isso não aumentará o limite, mas permitirá que você visualize todos os seus dados em seções.
2. Aumentar o limite: Se você tiver acesso ao servidor do Discourse e estiver confortável em fazer alterações nas configurações do Discourse, pode aumentar o limite. No entanto, isso deve ser feito com cautela. Aumentar o limite pode sobrecarregar muito seu servidor se você não tiver cuidado, especialmente se vários usuários estiverem executando consultas grandes ao mesmo tempo.
3. Baixar os Resultados: Você também tem a opção de baixar os resultados da consulta em vez de visualizá-los diretamente no Discourse clicando nos botões JSON ou CSV após executar a consulta. Os dados baixados de uma consulta em formato JSON ou CSV terão um limite de resultados muito maior de 10.000 linhas. Para fins programáticos, você deve optar pelo formato JSON, ou, se quiser trabalhar com os dados em um aplicativo de planilha, o formato CSV pode ser mais conveniente.

É geralmente uma boa ideia tentar escrever consultas mais eficientes, ou filtrar seus dados para que você esteja recuperando apenas o que precisa, em vez de tentar contornar o limite.

Você também pode exportar a própria consulta SQL no formato .JSON clicando no botão Exportar. Consultas exportadas usando este método podem então ser importadas para outros sites do Discourse, ou usadas com aplicativos de terceiros.

Plano de consulta

A caixa de seleção “Incluir plano de consulta” pode ser usada para uma melhor compreensão e otimização de suas consultas SQL.

Quando você marca essa caixa e executa uma consulta, o Discourse exibirá a sequência de operações usadas para acessar os dados no banco de dados do Discourse. Isso pode incluir operações como varreduras, junções, ordenações e outras ações do banco de dados. Ao examinar o plano de consulta, você pode ver exatamente como o banco de dados está executando sua consulta.

A série de tutoriais do Data Explorer

Temos também uma série dedicada sql-tutorial sobre o Data Explorer! Se você está interessado em aprender mais sobre como escrever consultas SQL no Discourse, recomendamos altamente ler os tópicos nesta série:

• Tutorial do Data Explorer - Parte 1 - Escrevendo Sua Primeira Consulta
• Tutorial do Data Explorer - Parte 2 - Básico de SQL do Discourse
• Utilizando Parâmetros em Consultas do Data Explorer
• Formatando Resultados de Tabelas do Data Explorer

[HamMan2118]

Olá!

Então, perguntei neste tópico como copiar os links de todos os tópicos em uma consulta de pesquisa. Fui direcionado para cá. Então, perguntei ao gerente do nosso fórum se tínhamos este plugin instalado, o que temos. No entanto, não sabemos como usá-lo para copiar todos os links de uma consulta de pesquisa para um arquivo CSV usando este plugin. Alguém já realizou esta ação antes e talvez possa nos indicar a direção certa?

Note que sou um usuário regular do fórum, não tenho poderes de staff. No entanto, estou repassando esta informação ao gerente do site, que tem e pode fazer isso por mim.

Obrigado desde já!

[Arkshine]

Olá Preston!

O plugin Data Explorer permite criar consultas SQL.

Você quer criar uma nova que liste os tópicos que você procura.

Em seguida, quando você executar a consulta, verá um botão CSV para exportar o resultado para um arquivo CSV.

Espero que ajude!

Avise-nos se precisar de ajuda adicional para criar a consulta!

[HamMan2118]

Obrigado! Vou repassar

[gormus (Osman Görmüş)]

Olá, tenho uma solicitação de recurso para este ótimo plugin.

Alguns dos relatórios que crio usando o Data Explorer seriam muito úteis para minha equipe se eu pudesse listá-los na página de Relatórios do Painel (/admin/reports).

Seria possível adicionar uma opção a cada consulta do Data Explorer para ser listada na página de Relatórios? Obrigado.

Por exemplo:

• Listar esta consulta personalizada na página Relatórios

[kOS (KilianS)]

Obrigado por este recurso!

Estou explorando como poderíamos escrever métricas personalizadas. Estamos usando o Discourse junto com o Workadventu.re (uma ferramenta de colaboração 2D baseada em avatares A/V).
Estou executando um script personalizado lá para registrar atividades em uma planilha do Google via webhook. Para ter tudo centralizado em nossa ferramenta principal (Discourse), seria ótimo ter esses dados impressos no Discourse…
Alguma dica?!

[davidgs (David G. Simmons)]

Eu realmente esperava que houvesse um construtor de consultas que ajudasse a escrever SQL. Meu SQL está velho e enferrujado, e escrevê-lo à mão é propenso a erros e demorado. Seria bom se houvesse uma maneira mais fácil!

[Tris20 (Tristan)]

Olá @davidgs, bem-vindo à Meta

@davidgs

Eu estava realmente esperando que houvesse um construtor de consultas que ajudasse a escrever SQL.

Você já tentou usar um LLM como o ChatGPT? Ele tem um entendimento razoável do Discourse e tem sido bastante confiável quando eu também precisei fazer consultas ao explorador de dados.

Eu costumo escrever meus prompts como “Escreva uma consulta do explorador de dados do Discourse que retorne x,y,z de a,b,c onde…” e acabo com algo bem razoável.

No canto superior direito desta página, você também pode ver um pequeno ícone de robô como o abaixo.

Se for esse o caso, você também pode tentar o AI Helper Bot que está integrado à Meta.

[Jagster (Jakke Flemming)]

@Tris20

No canto superior direito desta página, você também pode ver um pequeno ícone de robô como abaixo

A maioria de nós não o vê. Mas sempre existe o ask.discourse.com

[Tris20 (Tristan)]

@Jagster

A maioria de nós não vê isso. Mas sempre existe ask.discourse.com

Sim, eu não conseguia me lembrar se isso ainda era apenas uma coisa de nível de confiança 3 ou não. Boa sugestão sobre o site ask.discourse.com.

Como exemplo de referência, joguei escreva uma consulta do explorador de dados do discourse que retorne uma lista de todos os usuários que disseram a palavra “software” na barra de entrada de texto do ask.discourse.com e recebi a seguinte consulta de volta:

SELECT 
    p.user_id, 
    u.username,
    COUNT(p.id) AS post_count
FROM 
    posts p
JOIN 
    users u ON u.id = p.user_id
WHERE 
    p.raw ILIKE '%software%'
GROUP BY 
    p.user_id, u.username
ORDER BY 
    post_count DESC;

Muito razoável. Também posso garantir que ele faz consultas significativamente mais complexas do que esta.

[GuidoD (Guido Drehsen)]

de alguma forma a exportação de dados do data explorer não está mais funcionando com as últimas atualizações do discourse e do data explorer que instalei há cerca de duas horas. Os dados em si são criados corretamente, mas não podem mais ser exportados.

Clicar nos botões JSON ou CSV apenas cria um breve flash e nada mais acontece. Funcionou bem há cerca de duas semanas.

No console do navegador, vejo o seguinte erro:
CSV:

Uncaught TypeError: this.args.query is undefined
    _downloadResult query-result.js:310
    downloadResultCsv query-result.js:287
    _triggerAction d-button.gjs:160
    Ember 12
    _triggerAction d-button.gjs:157
    click d-button.gjs:106

JSON:

Uncaught TypeError: this.args.query is undefined
    _downloadResult query-result.js:310
    downloadResultJson query-result.js:283
    _triggerAction d-button.gjs:160
    Ember 12
    _triggerAction d-button.gjs:157
    click d-button.gjs:106

[pento (Gary)]

Obrigado pelo relatório de bug, @GuidoD!

Eu mesclei uma correção para este problema hoje mais cedo, por favor, tente atualizar e confirme se funciona para você.

FIX: Query downloads were being passed an incorrect query object.

[GuidoD (Guido Drehsen)]

@pento

por favor, tente atualizar e confirme se funciona para você.

obrigado pela correção rápida.
Posso confirmar que está funcionando bem novamente.

[GuidoD (Guido Drehsen)]

para uma pequena quantidade de dados, a exportação para JSON e CSV estão funcionando bem. Mas para uma quantidade maior de dados, a exportação CSV está funcionando bem, mas a exportação JSON resulta em nginx 502 bad gateway (provavelmente devido a um timeout após 30 segundos, onde a criação do arquivo JSON leva mais de 30 segundos).
Existe uma maneira fácil de aumentar o valor do timeout do nginx?

Se eu reduzir o período da consulta, o arquivo CSV tem 12,9 MB e o arquivo JSON tem 645 MB. O arquivo CSV total é 13,5 MB, então apenas um pouco maior, mas o arquivo JSON não é criado devido ao erro do nginx.

Ou talvez a criação do arquivo JSON esteja falhando devido a alguns dados estranhos. A criação do arquivo JSON gera um arquivo de log?

[riking (Kane York)]

As consultas JSON são executadas com um LIMIT externo maior por padrão em comparação com as consultas CSV. Adicione paginação personalizada dentro da consulta para garantir que ela seja concluída a tempo.

[GregorSondermeier]

É possível executar instruções UPDATE do Data Explorer?

Estou tentando fazer uma atualização em massa de uma determinada tabela, mas recebo este erro:

PG::FeatureNotSupported: ERROR:  WITH query \"query\" does not have a RETURNING clause
LINE 29:   ) SELECT * FROM query

[riking (Kane York)]

Não, o Data Explorer executa apenas transações somente leitura. (Se você atualizou sua consulta para ter uma cláusula RETURNING, receberia um erro de transação somente leitura.)

Se você estiver auto-hospedando, use um dos guias “launcher enter”, como

Edit a user preference for everyone or a subset of users

This guide explains how to edit a user preference for everyone or a subset of users in Discourse. Required user level: System Administrator Console access is required. If you need to update the user preference for all of your users or a large subset of users, you can do so via the rails console. Summary In this guide, you’ll learn: How to access the Rails console for making bulk changes Examples of modifying user preferences How to identify se…

Se você já tem seu UPDATE projetado, então você pode usar psql discourse em vez de rails c.

Se você estiver em um serviço hospedado, entre em contato com o suporte para que eles executem a alteração.

[GregorSondermeier]

Obrigado pela resposta. Faz sentido. Estamos usando um serviço hospedado, então entrarei em contato com o suporte deles.

[Naman_Gala]

Se eu compartilhar uma consulta SQL com o grupo de moderadores, como os usuários do grupo de moderadores podem executar a consulta em suas contas? Eles não conseguem ver o plugin Explorador de Dados.