Ejecuta consultas de Data Explorer con la API de Discourse

[Discourse]

Esta guía explica cómo usar la API de Discourse para crear, ejecutar y administrar consultas con el plugin Data Explorer.

Nivel de usuario requerido: Administrador

Prácticamente cualquier acción que se pueda realizar a través de la interfaz de usuario de Discourse también se puede activar con la API de Discourse.

Este documento proporciona una descripción general completa para utilizar la API específicamente en conjunto con el plugin Data Explorer.

Para una descripción general de cómo encontrar la solicitud de API correcta para una acción, consulte: Reverse engineer the Discourse API .

Ejecutar una consulta de Data Explorer

Para ejecutar una consulta de Data Explorer a través de la API, realice una solicitud POST a /admin/plugins/explorer/queries/<query-id>/run. Puede encontrar el ID de la consulta visitándola a través de su sitio de Discourse y verificando el parámetro id en la barra de direcciones.

A continuación se muestra una consulta de ejemplo con un ID de 20 que devuelve temas por vistas en una fecha especificada:

--[params]
-- date :viewed_at

SELECT
topic_id,
COUNT(1) AS views_for_date
FROM topic_views
WHERE viewed_at = :viewed_at
GROUP BY topic_id
ORDER BY views_for_date DESC

Esta consulta se puede ejecutar desde una terminal con:

curl -X POST "https://your-site-url/admin/plugins/explorer/queries/20/run" \
-H "Content-Type: multipart/form-data;" \
-H "Api-Key: <api-key>" \
-H "Api-Username: system" \
-F 'params={"viewed_at":"2019-06-10"}'

Tenga en cuenta que deberá reemplazar <api-key> y <your-site-url> con su clave de API y dominio.

Manejo de grandes conjuntos de datos

El plugin Data Explorer limita los resultados a 1000 filas por defecto. Para paginar a través de conjuntos de datos más grandes, puede usar la consulta de ejemplo a continuación:

--[params]
-- integer :limit = 100
-- integer :page = 0
SELECT * 
FROM generate_series(1, 10000)
OFFSET :page * :limit 
LIMIT :limit

Para obtener los resultados página por página, incremente el parámetro page en la solicitud:

curl -X POST "https://your-site-url/admin/plugins/explorer/queries/27/run" \
-H "Content-Type: multipart/form-data;" \
-H "Api-Key: <api-key>" \
-H "Api-Username: system" \
-F 'params={"page":"0"}'

Deténgase cuando result_count sea cero.

Para obtener información adicional sobre el manejo de grandes conjuntos de datos, consulte: Result Limits and Exporting Queries

Eliminación de datos de relations de los resultados

Cuando las consultas de Data Explorer se ejecutan a través de la interfaz de usuario, se agrega un objeto relations a los resultados. Estos datos se utilizan para representar al usuario en los resultados de la interfaz de usuario, pero es poco probable que los necesite al ejecutar consultas a través de la API.

Para eliminar esos datos de los resultados, agregue un parámetro download=true con su solicitud:

curl -X POST "https://your-site-url/admin/plugins/explorer/queries/27/run" \
-H "Content-Type: multipart/form-data;" \
-H "Api-Key: <api-key>" \
-H "Api-Username: system" \
-F 'params={"page":"0"}' \
-F "download=true"

Autenticación de API

Los detalles sobre cómo generar una clave de API para las solicitudes se pueden encontrar aquí: Create and configure an API key .

Si la clave de API solo se va a utilizar para ejecutar consultas de Data Explorer, puede seleccionar “Granular” en el menú desplegable Scope, y luego seleccionar el ámbito “run queries”.

Preguntas frecuentes

¿Hay algún endpoint de api que pueda usar para obtener la lista de informes y los números de ID? Quiero crear un menú desplegable con la lista.

Sí, puede realizar una solicitud GET autenticada a /admin/plugins/explorer/queries.json para obtener una lista de todas las consultas en el sitio.

¿Es posible crear consultas a través de la api?

Sí. La documentación sobre cómo hacerlo se encuentra en Create a Data Explorer query using the API

¿Es posible enviar parámetros con la solicitud post?

Sí, incluya parámetros SQL usando la opción -F, como se muestra en los ejemplos.

¿La exportación a CSV es compatible con la API para las consultas?

Aunque la salida JSON es estándar, puede convertir manualmente los resultados a CSV. La exportación nativa a CSV ya no es compatible.

Recursos adicionales

• Create a Data Explorer query using the API
• Create and configure an API key
• Reverse engineer the Discourse API
• GitHub - lee-dohm/execute-discourse-query: Executes a Discourse data-explorer query via the API

[37Rb (Ryan)]

@simon

El soporte de limit=ALL para exportaciones CSV

Este comentario parece implicar que puedes hacer exportaciones CSV desde la API. ¿Es eso posible? Solo tengo curiosidad porque necesito los datos en formato CSV. Siempre puedo obtenerlos en JSON y convertirlos a CSV, pero si hay una forma integrada de obtener CSV, sería un poco más fácil.

[francis_exalate (Francis Martens (Exalate))]

¿Es posible hacer una consulta ‘como creada o actualizada en los últimos 50 segundos’?

[Canapin (Coin-coin le Canapin)]

La IA dice

-- [params]
-- int :seconds = 50

SELECT
    p.id AS post_id,
    p.created_at,
    p.updated_at,
    p.raw AS post_content,
    p.user_id,
    t.title AS topic_title,
    t.id AS topic_id
FROM posts p
INNER JOIN topics t ON t.id = p.topic_id
WHERE
    (EXTRACT(EPOCH FROM (NOW() - p.created_at)) <= :seconds
    OR EXTRACT(EPOCH FROM (NOW() - p.updated_at)) <= :seconds)
    AND p.deleted_at IS NULL
    AND t.deleted_at IS NULL
ORDER BY p.created_at DESC
LIMIT 50

Hice una prueba rápida, parece que funciona

[Moin]

No veo el “me gusta ” que agregué a una publicación usando tu consulta.

Creo que necesitas usar post_actions

--[params]
--string :timespan = 50 seconds

SELECT post_id,
       user_id,
       created_at,
       updated_at,
       deleted_at
FROM  post_actions
WHERE post_action_type_id=2 AND updated_at > NOW() - INTERVAL :timespan

Versión con resultados más bonitos

--[params]
--string :timespan = 50 seconds
--boolean :include_in_timespan_deleted = false

SELECT
  post_id,
  user_id,
  CASE
    WHEN EXTRACT(EPOCH FROM (NOW() - created_at)) < 60 THEN CONCAT(ROUND(EXTRACT(EPOCH FROM (NOW() - created_at))), ' seconds ago')
    WHEN EXTRACT(EPOCH FROM (NOW() - created_at)) < 3600 THEN CONCAT(ROUND(EXTRACT(EPOCH FROM (NOW() - created_at)) / 60), ' minutes ago')
    WHEN EXTRACT(EPOCH FROM (NOW() - created_at)) < 86400 THEN CONCAT(ROUND(EXTRACT(EPOCH FROM (NOW() - created_at)) / 3600), ' hours ago')
    ELSE CONCAT(ROUND(EXTRACT(EPOCH FROM (NOW() - created_at)) / 86400), ' days ago')
  END AS relative_created_at,
  CASE
    WHEN EXTRACT(EPOCH FROM (NOW() - updated_at)) < 60 THEN CONCAT(ROUND(EXTRACT(EPOCH FROM (NOW() - updated_at))), ' seconds ago')
    WHEN EXTRACT(EPOCH FROM (NOW() - updated_at)) < 3600 THEN CONCAT(ROUND(EXTRACT(EPOCH FROM (NOW() - updated_at)) / 60), ' minutes ago')
    WHEN EXTRACT(EPOCH FROM (NOW() - updated_at)) < 86400 THEN CONCAT(ROUND(EXTRACT(EPOCH FROM (NOW() - updated_at)) / 3600), ' hours ago')
    ELSE CONCAT(ROUND(EXTRACT(EPOCH FROM (NOW() - updated_at)) / 86400), ' days ago')
  END AS relative_updated_at,
  CASE
    WHEN deleted_at IS NULL THEN 'no'
    WHEN EXTRACT(EPOCH FROM (NOW() - deleted_at)) < 60 THEN CONCAT(ROUND(EXTRACT(EPOCH FROM (NOW() - deleted_at))), ' seconds ago')
    WHEN EXTRACT(EPOCH FROM (NOW() - deleted_at)) < 3600 THEN CONCAT(ROUND(EXTRACT(EPOCH FROM (NOW() - deleted_at)) / 60), ' minutes ago')
    WHEN EXTRACT(EPOCH FROM (NOW() - deleted_at)) < 86400 THEN CONCAT(ROUND(EXTRACT(EPOCH FROM (NOW() - deleted_at)) / 3600), ' hours ago')
    ELSE CONCAT(ROUND(EXTRACT(EPOCH FROM (NOW() - deleted_at)) / 86400), ' days ago')
  END AS relative_deleted_at
FROM
  post_actions
WHERE
  post_action_type_id = 2
  AND updated_at > NOW() - INTERVAL :timespan
  AND (
    :include_in_timespan_deleted = false
    OR (deleted_at IS NOT NULL AND deleted_at > NOW() - INTERVAL :timespan)
  )

[Canapin (Coin-coin le Canapin)]

¡Oooh, lo leí mal! Leí la oración como "¿Es posible hacer una consulta como ‘creado o actualizado en los últimos 50 segundos’?
(nota la posición de la comilla simple)

[francis_exalate (Francis Martens (Exalate))]

Gracias a todos,

Publiqué aquí porque allí es a donde me dirigió ask.discourse.
¿Estoy buscando si la API proporciona esta capacidad?

[Canapin (Coin-coin le Canapin)]

Sí, por supuesto.

Creas la consulta en el explorador de datos y luego ejecutas la consulta a través de la API como se describe en esta guía.

Acabo de ejecutar la consulta de Moin a través de la API y devolvió correctamente los resultados esperados.

[tanya_byrne (kukulaka)]

Yo también me preguntaba sobre esto. ¿Es JSON la única forma de exportar datos a través de la API o también se admite la exportación CSV para Data Explorer?

[francis_exalate (Francis Martens (Exalate))]

Gracias a todos,

Disculpen la demora en responder; estuve desconectado un tiempo.

Lo que estoy haciendo actualmente es buscar todos los temas/publicaciones creados hoy y filtrar los temas/publicaciones actualizados antes de la marca de tiempo.

[Canapin (Coin-coin le Canapin)]

@francis_exalate

Lo que estoy haciendo actualmente es buscar todos los temas/publicaciones creados hoy y filtrar los temas/publicaciones actualizados antes de la marca de tiempo.

Si no quieres ensuciarte las manos, puedes preguntarle al bot en ask.discourse.com. Suele ser bastante preciso en lo que respecta a las consultas SQL relacionadas con Discourse (pero no asumas que es correcto, comprueba el código para estar seguro).

[srinivas.chilukuri]

@Discourse

-H "Content-Type: multipart/form-data; `

---

¿Es correcto el encabezado Content-Type?
En las herramientas de desarrollador, al inspeccionar una consulta de Data Explorer con parámetros, el encabezado Content-Type aparece como:

Content-Type: application/x-www-form-urlencoded; charset=UTF-8

Sin embargo, el comando cURL actual incluye:

-H "Content-Type: multipart/form-data;"

---

[blake (Blake Erickson)]

• multipart/form-data
• application/x-www-form-urlencoded
• application/json

son todos los content-types válidos que puedes usar al hacer una solicitud a la API.

[srinivas.chilukuri]

@blake
language python
library requests
¿Podrías proporcionar una consulta de Data Explorer de API de ejemplo que incluya tres parámetros
referencia Tema que dice que los parámetros deben estar estrictamente entre comillas dobles

[blake (Blake Erickson)]

Claro, aquí tienes un ejemplo usando python:

import json
import requests

API_KEY      = "TU_API_KEY"
API_USERNAME = "system"
QUERY_ID     = 20
SITE_URL     = "https://tu-url-del-sitio"

# todos los valores deben ser cadenas
params = {
    "user_id":   "2",
    "viewed_at": "2019-06-10",
    "limit":     "5"
}

# Data Explorer espera los parámetros como una cadena codificada en JSON
payload = {
    "params": json.dumps(params)
}

url = f"{SITE_URL}/admin/plugins/explorer/queries/{QUERY_ID}/run"
headers = {
    "Api-Key":       API_KEY,
    "Api-Username":  API_USERNAME,
    "Content-Type":  "application/json"
}

r = requests.post(url, headers=headers, json=payload)
r.raise_for_status()
print(r.json())