Explorador de datos de Discourse

[Discourse]

	Resumen	Discourse Data Explorer te permite realizar consultas SQL contra tu base de datos en vivo, lo que permite informes de estadísticas actualizados al minuto.
	Guía de instalación	Este plugin viene incluido con el núcleo de Discourse. No es necesario instalar el plugin por separado.

Dado que este es un plugin #oficial mantenido por el equipo de Discourse, las solicitudes de #soporte, Contribute > Bug, Contribute > UX y Contribute > Feature pueden realizarse en las categorías respectivas aquí en Meta, y etiquetarse con la etiqueta del plugin apropiada. Haz clic en un enlace a continuación para iniciar uno.

Soporte Error UX Característica

Si buscas ejemplos o soporte para consultas personalizadas, puedes encontrar muchos temas en nuestra categoría #data-reporting bajo la etiqueta sql-query. Si no hay uno que se adapte a tus necesidades particulares, siéntete libre de crear un nuevo tema para pedir ayuda a la comunidad. Ayuda con consultas

¿Alojado por nosotros? Este plugin está disponible en nuestros planes Business y Enterprise. Data Explorer | Discourse - Civilized Discussion

Después de instalar el plugin, ve a /admin/plugins.

Haz clic en el botón «Configuración» y activa data explorer enabled, luego regresa y recarga la página.
Ahora debería haber una pestaña en la navegación apilada llamada «Data Explorer». Selecciónala o ve a /admin/plugins/discourse-data-explorer, luego usa los botones +, Importar o Ejecutar para empezar.

Consultas predeterminadas

En una instalación nueva, el Data Explorer ahora incluye varias consultas que pueden ayudarte a obtener información sobre la actividad de tu foro. Abre cualquier consulta y haz clic en Ejecutar para probarla.

Así es como se ven las consultas estándar.

Nota: Las consultas predeterminadas se obtienen de este archivo: discourse-data-explorer/lib/discourse_data_explorer/queries.rb at main · discourse/discourse-data-explorer · GitHub

Si tienes una consulta increíble que quieres que todos tengan, haz una PR como esta.

Las consultas predeterminadas no se pueden editar; si deseas modificarlas, siéntete libre de copiar el SQL y pegarlo en una nueva consulta.

Escribiendo consultas

Cuando haces clic en cualquiera de los botones Editar en una vista de consulta o inicias una nueva consulta de explorador, se te presenta una pantalla como la siguiente:

Los dos cuadros superiores son el nombre y la descripción de la consulta. El nombre es lo que seleccionas en el cuadro desplegable, y la descripción debe usarse para cosas como explicar qué poner en los parámetros de la consulta o describir qué datos se están consultando.

El panel izquierdo es donde escribes la consulta SQL. Se proporciona resaltado de sintaxis y verificación menores.

El explorador de esquemas está en el lado derecho del panel de escritura. Fíjate en los nombres de columna en rojo con un símbolo de advertencia, como email, password_hash, salt - estas son columnas «Sensibles». Intenta evitar consultarlas si es posible, reconsidera consultarlas si estás en un lugar público y definitivamente no publiques capturas de pantalla de consultas que verifiquen esas columnas sin pensar primero en lo que estás haciendo.

Ejecución automática de consultas

Aunque siempre puedes ejecutar una consulta haciendo clic en el botón Ejecutar, puedes ahorrar tiempo al cargar una consulta agregando el parámetro run a la URL.

Por ejemplo: /admin/plugins/discourse-data-explorer/queries/123?run

Cuando se agrega este parámetro a la URL, la consulta se ejecuta tan pronto como cargas la página, por lo que no necesitas hacer clic en el botón Ejecutar para ver los resultados. Esto es especialmente útil para consultas que ejecutas con frecuencia, permitiéndote marcarlas como favoritas o agregarlas a tu barra lateral con el parámetro run incluido para un informe de un solo clic.

Importando consultas

Para un ejemplo, importemos una que escribí. Descarga este archivo, luego abre el cuadro de diálogo de importación y selecciona el archivo para subirlo o pega la consulta en el cuadro de texto. Haz clic en Importar para guardarla y luego haz clic en Ejecutar para ver los resultados.

most-common-likers.dcquery (1).json (442 Bytes)

Parece que todos los desarrolladores de Discourse se gustan bastante

Buscando consultas

Si has acumulado demasiadas consultas increíbles, ¡no hay problema! La barra de búsqueda puede ayudarte a filtrar por títulos y descripciones.

Permitir que grupos no de personal ejecuten consultas

Puedes agregar grupos específicos (incluidos los moderadores) a una consulta para concederles acceso a ella:

Después de guardar, puedes encontrarla en la página de Grupos para ese grupo particular en la pestaña Informes:

Haz clic en cualquier consulta para abrirla y luego en el botón Ejecutar para ver los resultados. También puedes marcar como favoritas los informes de grupo haciendo clic en el botón Marcar como favorita.

Compartiendo consultas con parámetros predefinidos

Si has incluido parámetros definidos por el usuario en tu consulta, puedes compartir un enlace a la consulta e incluir los parámetros en la URL para que se rellenen automáticamente cuando se cargue la página.

Debes incluir los parámetros en la URL en este formato params={"nombre_del_parámetro":"valor"}. Separa múltiples parámetros con comas. Por ejemplo:

discourse.example.com/g/my-group/reports/6?params={"param1":"valor1","param2":"valor2"}

Combinado con el parámetro run mencionado anteriormente, puedes compartir un informe con parámetros predefinidos que se ejecute automáticamente al cargarse.

Límites de resultados y exportación de consultas

Con consultas grandes, es posible que notes que hay un límite en el número de filas que Data Explorer mostrará. Por defecto, el límite está establecido en 1000 filas. Esto es para evitar que consultas excesivamente grandes ralenticen o interrumpan el rendimiento de tu instancia de Discourse.

Si deseas omitir este límite, tienes varias opciones:

1. Paginación: Puedes paginar tus resultados. En lugar de intentar devolver todos los resultados a la vez, puedes escribir tu consulta para devolver un rango específico de resultados. Luego puedes ajustar este rango para ver diferentes secciones de tus datos. Esto no aumentará el límite, pero te permitirá ver todos tus datos en secciones.
2. Aumentar el límite: Si tienes acceso al servidor de Discourse y te sientes cómodo haciendo cambios en la configuración de Discourse, puedes aumentar el límite. Sin embargo, esto debe hacerse con precaución. Aumentar el límite puede poner mucha carga en tu servidor si no tienes cuidado, especialmente si varios usuarios ejecutan consultas grandes al mismo tiempo.
3. Descargar los resultados: También tienes la opción de descargar los resultados de la consulta en lugar de verlos directamente en Discourse haciendo clic en el botón JSON o CSV después de ejecutar la consulta. Los datos descargados de una consulta en formato JSON o CSV tendrán un límite de resultados mucho más alto de 10,000 filas. Para fines programáticos, es mejor optar por el formato JSON, o si deseas trabajar con los datos en una aplicación de hoja de cálculo, el formato CSV podría ser más conveniente.

Generalmente es una buena idea intentar escribir consultas más eficientes o filtrar tus datos para que solo recuperes lo que necesitas, en lugar de intentar omitir el límite.

También puedes exportar la consulta SQL en formato .JSON haciendo clic en el botón Exportar. Las consultas exportadas de esta manera luego pueden importarse en otros sitios de Discourse o usarse con aplicaciones de terceros.

Plan de consulta

La casilla de verificación «Incluir plan de consulta» puede usarse para comprender y optimizar mejor tus consultas SQL.

Cuando marcas esta casilla y ejecutas una consulta, Discourse mostrará la secuencia de operaciones utilizadas para acceder a los datos en la base de datos de Discourse. Esto puede incluir operaciones como escaneos, uniones, ordenamientos y otras acciones de base de datos. Al examinar el plan de consulta, puedes ver exactamente cómo la base de datos está ejecutando tu consulta.

La serie de tutoriales de Data Explorer

También tenemos una serie dedicada sql-tutorial sobre Data Explorer! Si estás interesado en aprender más sobre cómo escribir consultas SQL en Discourse, recomendamos encarecidamente leer los temas de esta serie:

• Tutorial de Data Explorer - Parte 1 - Escribiendo tu primera consulta
• Tutorial de Data Explorer - Parte 2 - Conceptos básicos de SQL de Discourse
• Utilizando parámetros en consultas de Data Explorer
• Formateando resultados de tablas de Data Explorer

[HamMan2118]

¡Hola!

Así que pregunté en este hilo cómo copiar los enlaces a todos los temas en una consulta de búsqueda. Me dirigieron aquí. Entonces, le pregunté al administrador de nuestro foro si teníamos este plugin instalado, lo cual tenemos. Sin embargo, no sabemos cómo usarlo para copiar todos los enlaces de una consulta de búsqueda a un archivo CSV usando este plugin. ¿Alguien ha realizado esta acción antes y quizás podría indicarnos la dirección correcta?

Tenga en cuenta que soy un usuario habitual del foro, no tengo poderes de personal. Sin embargo, estoy transmitiendo esta información al administrador del sitio, que sí los tiene y puede hacerlo por mí.

¡Gracias de antemano!

[Arkshine]

¡Hola Preston!

El plugin Data Explorer te permite crear consultas SQL.

Quieres crear una nueva que liste los temas que buscas.

Luego, cuando ejecutes la consulta, verás un botón CSV para exportar el resultado a un archivo CSV.

¡Espero que eso ayude!

¡Avísanos si necesitas ayuda adicional para crear la consulta!

[HamMan2118]

¡Gracias! Se lo haré saber

[gormus (Osman Görmüş)]

Hola, tengo una solicitud de funcionalidad para este gran plugin.

Algunos de los informes que creo usando el Explorador de Datos, serían de gran ayuda para mi equipo si pudiera listarlos en la página de Informes del Panel (/admin/reports).

¿Sería posible añadir una opción a cada consulta del Explorador de Datos para que se liste en la página de Informes? Gracias.

Por ejemplo:

• Listar esta consulta personalizada en la página de Informes

[kOS (KilianS)]

¡Gracias por esta función!

Estoy explorando cómo podríamos escribir métricas personalizadas. Estamos utilizando Discourse junto con Workadvent.re (una herramienta de colaboración 2D basada en avatares A/V).
Estoy ejecutando un script personalizado allí para registrar actividades en una hoja de Google a través de un webhook. Para tener todo centralizado en nuestra herramienta principal (Discourse), sería genial tener estos datos impresos en Discourse…
¿Algún consejo?

[davidgs (David G. Simmons)]

Realmente esperaba que hubiera un generador de consultas que ayudara a escribir SQL. Mi SQL está viejo y oxidado, y escribirlo a mano es propenso a errores y consume mucho tiempo. ¡Sería bueno si hubiera una manera más fácil!

[Tris20 (Tristan)]

Hola @davidgs, bienvenido a Meta

@davidgs

Realmente esperaba que hubiera un generador de consultas que ayudara a escribir SQL.

¿Has intentado usar un LLM como ChatGPT? Tiene una comprensión razonable de Discourse y ha sido bastante confiable cuando también necesité hacer consultas de exploración de datos.

A menudo escribo mis indicaciones como “Escribe una consulta de explorador de datos de Discourse que devuelva x,y,z de a,b,c donde…” y termino con algo bastante razonable.

En la parte superior derecha de esta página, también podrías ver un pequeño icono de robot como el de abajo.

Si ese es el caso, también podrías probar el Bot Ayudante de IA que está integrado con Meta.

[Jagster (Jakke Flemming)]

@Tris20

En la parte superior derecha de esta página, es posible que también vea un pequeño icono de robot como el siguiente.

La mayoría de nosotros no lo vemos. Pero siempre está ask.discourse.com

[Tris20 (Tristan)]

@Jagster

La mayoría de nosotros no lo vemos. Pero siempre está ask.discourse.com

Sí, no recordaba si esto seguía siendo solo una cosa de nivel de confianza 3 o no. Buena idea con el sitio ask.discourse.com.

Como ejemplo de referencia, introduje escribe una consulta de explorador de datos de Discourse que devuelva una lista de todos los usuarios que dijeron la palabra “software” en la barra de entrada de texto de ask.discourse.com y obtuve la siguiente consulta:

SELECT 
    p.user_id, 
    u.username,
    COUNT(p.id) AS post_count
FROM 
    posts p
JOIN 
    users u ON u.id = p.user_id
WHERE 
    p.raw ILIKE '%software%'
GROUP BY 
    p.user_id, u.username
ORDER BY 
    post_count DESC;

Bastante razonable. También puedo dar fe de que hace consultas significativamente más complejas que esta.

[GuidoD (Guido Drehsen)]

La exportación de datos del explorador de datos ya no funciona con las últimas actualizaciones de Discourse y Data Explorer que instalé hace aproximadamente dos horas. Los datos se crean correctamente, pero ya no se pueden exportar.

Al hacer clic en los botones JSON o CSV, solo se produce un breve destello y no sucede nada más. Funcionaba bien hace unas dos semanas.

En la consola del navegador web, veo el siguiente error:
CSV:

Uncaught TypeError: this.args.query is undefined
    _downloadResult query-result.js:310
    downloadResultCsv query-result.js:287
    _triggerAction d-button.gjs:160
    Ember 12
    _triggerAction d-button.gjs:157
    click d-button.gjs:106

JSON:

Uncaught TypeError: this.args.query is undefined
    _downloadResult query-result.js:310
    downloadResultJson query-result.js:283
    _triggerAction d-button.gjs:160
    Ember 12
    _triggerAction d-button.gjs:157
    click d-button.gjs:106

[pento (Gary)]

¡Gracias por el informe de error, @GuidoD!

Fusioné una corrección para este problema hoy temprano, por favor intenta actualizar y confirma que funciona para ti.

FIX: Query downloads were being passed an incorrect query object.

[GuidoD (Guido Drehsen)]

@pento

por favor, intente actualizar y confirme que funciona para usted.

gracias por la rápida solución.
Confirmo que vuelve a funcionar correctamente.

[GuidoD (Guido Drehsen)]

Para una pequeña cantidad de datos, la exportación a JSON y CSV funciona bien. Pero para una mayor cantidad de datos, la exportación CSV funciona bien, pero la exportación JSON genera un error 502 Bad Gateway en nginx (probablemente debido a un tiempo de espera de 30 segundos, ya que la creación del archivo JSON tarda más de 30 segundos).
¿Hay alguna forma sencilla de aumentar el valor del tiempo de espera de nginx?

Si reduzco el período de tiempo de la consulta, el archivo CSV es de 12,9 MB y el archivo JSON es de 645 MB. El archivo CSV total es de 13,5 MB, por lo que es solo un poco más grande, pero el archivo JSON no se crea debido al error de nginx.

¿O tal vez la creación del archivo JSON está fallando debido a algunos datos extraños? ¿La creación del archivo JSON genera un archivo de registro?

[riking (Kane York)]

Las consultas JSON se ejecutan con un LIMIT externo superior por defecto en comparación con las consultas CSV. Agregue paginación personalizada dentro de la consulta para asegurar que se complete a tiempo.

[GregorSondermeier]

¿Es posible ejecutar sentencias UPDATE desde el Explorador de datos?

Estoy intentando realizar una actualización masiva de una tabla determinada, pero obtengo este error:

PG::FeatureNotSupported: ERROR:  WITH query "query" does not have a RETURNING clause
LINE 29:   ) SELECT * FROM query

[riking (Kane York)]

No, Data Explorer solo ejecuta transacciones de solo lectura. (Si actualizaste tu consulta para tener una cláusula RETURNING, obtendrías un error de transacción de solo lectura).

Si te alojas tú mismo, utiliza una de las guías de “launcher enter”, como

Edit a user preference for everyone or a subset of users

This guide explains how to edit a user preference for everyone or a subset of users in Discourse. Required user level: System Administrator Console access is required. If you need to update the user preference for all of your users or a large subset of users, you can do so via the rails console. Summary In this guide, you’ll learn: How to access the Rails console for making bulk changes Examples of modifying user preferences How to identify se…

Si ya tienes tu UPDATE diseñado, entonces puedes usar psql discourse en lugar de rails c.

Si estás en un servicio alojado, ponte en contacto con el soporte para que ejecuten el cambio.

[GregorSondermeier]

Gracias por la respuesta. Tiene sentido. Estamos en un servicio alojado, así que me pondré en contacto con su soporte entonces.

[Naman_Gala]

Si comparto una consulta SQL con el grupo de moderadores, ¿cómo pueden los usuarios del grupo de moderadores ejecutar la consulta desde su cuenta? No pueden ver el plugin Explorador de datos.