Come esportare più del limite di 10.000?

Sviluppatore
1

Domanda stupida: quel limite si sta avvicinando per uno dei nostri forum. Possiamo superarlo senza fare un fork del plugin?

Sembra che ci sia un’impostazione nascosta per il limite di visualizzazione predefinito di 1000, che consente di arrivare fino a 10.000. Ma non ne ho bisogno, e 1000 ha molto senso per l’interfaccia utente all’interno di Data Explorer.

Tuttavia, un foglio di calcolo può gestire molto di più. Quello che voglio fare è poter esportare a un limite più alto (diciamo 20.000). È fattibile?

2

Coincidentemente, esta noite também me deparei com este limite de 10.000 registos. Existe alguma forma de o ultrapassar? Preciso de mais uma ordem de magnitude.

3

Un modo per testare sarebbe entrare nel container, modificare /var/www/discourse/plugins/discourse-data-explorer/plugin.rb e cambiare QUERY_RESULT_MAX_LIMIT = 10000, fare un sv restart unicorn e vedere cosa succede. Naturalmente ci sono ragioni per non consentire query così enormi; se sei sicuro che la tua infrastruttura sia in grado di gestirla, o non ti dispiace un po’ di instabilità, questo potrebbe funzionare.

Se il mondo non esplode, allora potresti aggiungere alcune cose a app.yml che modificherebbero quel file dopo che i plugin vengono clonati ad ogni rebuild. Probabilmente entrerebbe in conflitto con l’aggiornamento con docker_manager. (Puoi guardare alcuni altri template che modificano file per capire cosa potrebbero essere alcune cose.)

@DonH se hai bisogno di quella query molto e si tratta solo di una, allora potresti volere un plugin che la fornisca in qualche modo. Potrebbe, ad esempio, scrivere un file in blocchi che potresti recuperare tramite qualche percorso.

3 Mi Piace
4

Grazie per questo consiglio, Jay. Ho effettivamente pensato di scrivere un plugin, ma anche che dovrebbe essere fattibile dalla console di Rails per le varie operazioni di massa, ma non conosco Rails e ciò sembra comunque richiedere l’attivazione di funzioni incorporate. Ciò creerebbe lo stesso problema di sovrascrittura a meno che i job non venissero committati al core.

Finora ho gestito la situazione con il Data Explorer dal basso e (molto attentamente) psql dall’alto, ma preferirei fare le cose secondo le regole, data la sorte.

Probabilmente dovrei essere esplicito su ciò che sto facendo.

Gestisco un forum che è alla sua terza o quarta manifestazione, essendo passato attraverso Phorum e phpBB sotto le mie mani e qualcos’altro prima che ci arrivassi. L’argomento è ristretto e la base utenti è minuscola, ma il contenuto è stato portato avanti ad ogni spostamento e rappresenta molta conoscenza istituzionale. Discourse, con le sue funzionalità di categorizzazione, tagging e interfaccia, sembrava una grande soluzione per l’accessibilità alla conoscenza.

Quindi ho importato il forum che non è mai stato categorizzato o taggato nelle sue incarnazioni precedenti. Piuttosto che analizzare 100.000 post/8.000 thread, ho utilizzato un software di elaborazione del linguaggio naturale per aiutare con le categorizzazioni e i tag. Aggiorno quindi direttamente le tabelle topics, categories e topic_tag, essendo, come ho detto, molto attento.

Il processo è ancora in corso, ma ho un flusso di lavoro stabile e posso facilmente completarlo con gli strumenti a disposizione. In futuro, tuttavia, ci saranno aggiornamenti periodici regolari per integrare nuove categorizzazioni e tag che potrebbero essere diversi o meno dai dati precedenti. Quindi puoi capire la necessità.

Ovviamente il Data Explorer è un flusso unidirezionale, ma è stato molto conveniente. Posso superare il limite di dimensione facendo dei batch e, ora, aumentando l’impostazione del limite, quindi grazie per questo.

1 Mi Piace