Pregunta tonta: ese límite se acerca para uno de nuestros foros. ¿Podemos superarlo sin bifurcar el plugin?
Parece que hay una configuración oculta para el límite de visualización predeterminado de 1000, que permite que llegue hasta 10 000. Pero no necesito eso, y 1000 tiene mucho sentido para la interfaz de usuario dentro de Data Explorer.
Sin embargo, una hoja de cálculo puede manejar mucho más. Lo que quiero hacer es poder Exportar a un límite mayor (digamos 20 000). ¿Es eso factible?
Casualmente esta noche también me encuentro con este límite de 10.000 registros. ¿Hay alguna forma de superarlo? Necesito otro orden de magnitud.
Una forma de probar sería entrar en el contenedor, editar /var/www/discourse/plugins/discourse-data-explorer/plugin.rb y cambiar QUERY_RESULT_MAX_LIMIT = 10000, hacer un sv restart unicorn y ver qué sucede. Por supuesto, hay razones para no permitir consultas tan grandes; si confías en que tu infraestructura pueda manejarlo, o no te importa un poco de inestabilidad, esto podría funcionar.
Si el mundo no explota, entonces podrías añadir algunas cosas a app.yml que modificarían ese archivo después de que los plugins se clonen en cada reconstrucción. Probablemente entraría en conflicto con la actualización con docker_manager. (Puedes mirar algunas otras plantillas que modifican archivos para averiguar qué podrían ser algunas cosas).
@DonH si necesitas esa consulta mucho y es solo una, entonces podrías querer un plugin que la entregue de alguna manera. Podría, por ejemplo, escribir un archivo en fragmentos que podrías recuperar a través de alguna ruta.
Gracias por este consejo, Jay. De hecho, he pensado en escribir un plugin, pero también en que debería ser factible desde la consola de Rails para las diversas operaciones masivas, pero no conozco Rails y, de todos modos, eso parece requerir la activación de funciones integradas. Eso crearía el mismo problema de sobrescritura a menos que los trabajos se confirmaran en el núcleo.
Hasta ahora me he manejado con el Explorador de Datos por el lado negativo y (con mucho cuidado) psql por el lado positivo, pero preferiría hacer las cosas según las reglas, sea cual sea el destino.
Probablemente debería ser explícito sobre lo que estoy haciendo.
Dirijo un foro que se encuentra en su tercera o cuarta manifestación, habiendo pasado por el software Phorum y phpBB en mis manos y algo más antes de llegar a él. El tema es estrecho y la base de usuarios es diminuta, pero el contenido se ha mantenido en cada movimiento y representa una gran cantidad de conocimiento institucional. Discourse, con su categorización, etiquetado y características de interfaz, parecía una gran solución para la accesibilidad del conocimiento.
Así que he portado el foro que nunca fue categorizado ni etiquetado en sus encarnaciones anteriores. En lugar de revisar 100.000 publicaciones/8.000 hilos, he estado utilizando software de procesamiento de lenguaje natural para ayudar con las categorizaciones y el etiquetado. Luego actualizo directamente las tablas de temas, categorías y etiquetas de temas, siendo, como dije, muy cuidadoso.
El proceso aún está en curso, pero tengo un flujo de trabajo estable y puedo terminar fácilmente con las herramientas disponibles. Sin embargo, en el futuro, habrá actualizaciones periódicas regulares para incorporar nuevas categorizaciones y etiquetas que pueden o no ser diferentes de los datos anteriores. Así que puedes ver la necesidad.
Obviamente, el Explorador de Datos es un flujo unidireccional, pero ha sido muy conveniente. Puedo superar el límite de tamaño haciendo lotes y, ahora, aumentando la configuración del límite, así que gracias por eso.