Comment exporter plus que la limite de 10 000 ?

Dev
1

Question stupide : ce plafond se rapproche pour l’un de nos forums. Pouvons-nous le dépasser sans forker le plugin ?

Il semble qu’il existe un réglage caché pour la limite d’affichage par défaut de 1000, permettant d’aller jusqu’à 10 000. Mais je n’en ai pas besoin, et 1000 a beaucoup de sens pour l’interface utilisateur dans Data Explorer.

Cependant, une feuille de calcul peut gérer beaucoup plus. Ce que je veux faire, c’est pouvoir exporter vers une limite plus élevée (disons 20 000). Est-ce faisable ?

2

Je me heurte également par coïncidence ce soir à cette limite de 10 000 enregistrements. Y a-t-il un moyen de la dépasser ? J’ai besoin d’un autre ordre de grandeur.

3

Un moyen de tester serait d’entrer dans le conteneur, de modifier /var/www/discourse/plugins/discourse-data-explorer/plugin.rb et de changer QUERY_RESULT_MAX_LIMIT = 10000, de faire un sv restart unicorn et de voir ce qui se passe. Bien sûr, il y a des raisons de ne pas autoriser des requêtes aussi énormes ; si vous êtes confiant dans la capacité de votre infrastructure à les gérer, ou si une certaine instabilité ne vous dérange pas, cela pourrait fonctionner.

Si le monde n’explose pas, vous pourriez ajouter quelques éléments à app.yml qui modifieraient ce fichier après que les plugins soient clonés à chaque reconstruction. Cela entrerait probablement en conflit avec la mise à niveau avec docker_manager. (Vous pouvez examiner d’autres modèles qui modifient des fichiers pour comprendre ce que pourraient être quelques éléments.)

@DonH si vous avez beaucoup besoin de cette requête et qu’il n’y en a qu’une, vous pourriez vouloir un plugin qui la délivrerait d’une manière ou d’une autre. Il pourrait, par exemple, écrire un fichier par morceaux que vous pourriez récupérer via un chemin quelconque.

3 « J'aime »
4

Merci pour ces conseils, Jay. J’ai en effet pensé à écrire un plugin, mais aussi qu’il devrait être réalisable depuis la console Rails pour les diverses opérations en masse, mais je ne connais pas Rails et cela semble de toute façon nécessiter le déclenchement de fonctions intégrées. Cela créerait le même problème d’écrasement, à moins que les tâches ne soient validées dans le cœur.

J’ai réussi jusqu’à présent avec l’Explorateur de données en aval et (très prudemment) psql en amont, mais je préférerais de loin faire les choses dans les règles de l’art, le destin étant ce qu’il est.

Je devrais probablement être explicite sur ce que je fais.

Je gère un forum qui en est à sa troisième ou quatrième manifestation, ayant été sous Phorum et phpBB entre mes mains et quelque chose d’autre avant que je ne m’en occupe. Le sujet est étroit et la base d’utilisateurs est minuscule, mais le contenu a été reporté à chaque migration et représente une grande quantité de connaissances institutionnelles. Discourse, avec sa catégorisation, son étiquetage et ses fonctionnalités d’interface, semblait être une excellente solution pour l’accessibilité des connaissances.

J’ai donc porté le forum qui n’a jamais été catégorisé ou étiqueté dans ses incarnations précédentes. Plutôt que de parcourir 100 000 messages/8 000 fils, j’ai utilisé un logiciel de traitement du langage naturel pour m’aider dans les catégorisations et l’étiquetage. Je mets ensuite à jour directement les tables topics, categories et topic_tag, en étant, comme je l’ai dit, très prudent.

Le processus est toujours en cours, mais j’ai un flux de travail stable et je peux facilement terminer avec les outils à portée de main. Cependant, à l’avenir, il y aura des mises à jour périodiques régulières pour intégrer de nouvelles catégorisations et étiquettes qui peuvent ou non différer des données précédentes. Vous comprenez donc le besoin.

Évidemment, l’Explorateur de données est un flux unidirectionnel, mais il a été très pratique. Je peux surmonter la limite de taille en faisant des lots et, maintenant, en augmentant le paramètre de limite, donc merci pour cela.

1 « J'aime »