Wie exportiert man über das 10.000er Limit?

Entwickler
1

Dumme Frage – diese Obergrenze rückt für eines unserer Foren näher. Können wir sie überschreiten, ohne das Plugin zu forken?

Es scheint eine versteckte Einstellung für das Standardlimit von 1000 Anzeigen zu geben, die es bis zu 10.000 erlaubt. Aber das brauche ich nicht, und 1000 sind für die Benutzeroberfläche von Data Explorer sehr sinnvoll.

Eine Tabellenkalkulation kann jedoch viel mehr verarbeiten. Was ich tun möchte, ist, auf ein höheres Limit (sagen wir 20.000) exportieren zu können. Ist das machbar?

2

Ich stoße heute Abend zufällig auch auf dieses Limit von 10.000 Datensätzen. Gibt es eine Möglichkeit, es zu umgehen? Ich benötige eine weitere Größenordnung.

3

Ein Test wäre, den Container zu betreten, /var/www/discourse/plugins/discourse-data-explorer/plugin.rb zu bearbeiten und QUERY_RESULT_MAX_LIMIT = 10000 zu ändern, dann sv restart unicorn auszuführen und zu sehen, was passiert. Natürlich gibt es Gründe, solch riesige Abfragen nicht zuzulassen; wenn Sie zuversichtlich sind, dass Ihre Infrastruktur damit umgehen kann, oder wenn es Ihnen nichts ausmacht, ein wenig Instabilität in Kauf zu nehmen, könnte dies funktionieren.

Wenn die Welt nicht explodiert, könnten Sie einige Dinge zu app.yml hinzufügen, die diese Datei nach dem Klonen der Plugins bei jedem Neubau ändern würden. Dies würde wahrscheinlich mit dem Upgrade mit docker_manager in Konflikt geraten. (Sie können sich einige andere Vorlagen ansehen, die Dateien ändern, um herauszufinden, was einige Dinge sein könnten.)

@DonH, wenn Sie diese Abfrage oft benötigen und es nur eine ist, möchten Sie vielleicht ein Plugin, das sie irgendwie liefert. Es könnte zum Beispiel eine Datei in Chunks schreiben, die Sie über einen Pfad abrufen könnten.

3 „Gefällt mir“
4

Vielen Dank für diesen Rat, Jay. Ich habe tatsächlich darüber nachgedacht, ein Plugin zu schreiben, aber auch, dass es von der Rails-Konsole aus machbar sein sollte, was die verschiedenen Massenoperationen betrifft, aber ich kenne Rails nicht und das scheint sowieso das Auslösen eingebetteter Funktionen zu erfordern. Das würde dasselbe Überschreibungsproblem verursachen, es sei denn, die Jobs würden in den Kern übernommen.

Bisher habe ich mich mit dem Data Explorer auf der negativen Seite und (sehr vorsichtigem) psql auf der positiven Seite beholfen, aber ich würde es lieber nach Lehrbuch machen, wie das Schicksal es will.

Ich sollte wahrscheinlich explizit machen, was ich vorhabe.

Ich betreibe ein Forum, das sich in seiner dritten oder vierten Manifestation befindet und unter meiner Obhut Phorum und phpBB-Software durchlaufen hat und davor noch etwas anderes. Das Thema ist eng gefasst und die Benutzerbasis ist winzig, aber der Inhalt wurde bei jedem Umzug weitergetragen und repräsentiert viel institutionelles Wissen. Discourse schien mit seiner Kategorisierung, Tagging und seinen Benutzeroberflächenfunktionen eine großartige Lösung für die Wissenszugänglichkeit zu sein.

Daher habe ich das Forum portiert, das in seinen früheren Inkarnationen nie kategorisiert oder getaggt wurde. Anstatt 100.000 Beiträge/8.000 Threads zu durchforsten, habe ich einige Software zur Verarbeitung natürlicher Sprache verwendet, um bei der Kategorisierung und dem Tagging zu helfen. Ich aktualisiere dann direkt die Tabellen topics, categories und topic_tag, wobei ich, wie gesagt, sehr vorsichtig bin.

Der Prozess ist noch im Gange, aber ich habe einen stabilen Arbeitsablauf und kann die anstehenden Aufgaben mit den vorhandenen Werkzeugen leicht abschließen. Zukünftig wird es jedoch regelmäßige periodische Updates geben, um neue Kategorisierungen und Tags zu integrieren, die sich von den vorherigen Daten unterscheiden können oder auch nicht. Sie sehen also den Bedarf.

Offensichtlich ist der Data Explorer ein Einwegfluss, aber er war sehr praktisch. Ich kann die Größenbeschränkung durch Stapelverarbeitung und jetzt durch Erhöhung der Grenzwert-Einstellung überwinden, also danke dafür.

1 „Gefällt mir“