如何导出超过10,000条的限制?

愚蠢的问题——我们其中一个论坛的这个上限越来越近了。我们能否在不分叉插件的情况下超过它?

看起来有一个隐藏的设置,用于默认的 1000 显示限制,允许它高达 10,000。但我不需要那个,而且 1000 对于 Data Explorer 中的 UI 来说很有意义。

但是,电子表格可以处理更多。我想做的是能够导出到更高的限制(例如 20,000)。这可行吗?

我今晚也碰巧遇到了这个 10,000 条记录的限制。有什么办法可以突破它吗?我需要再增加一个数量级。

一种测试方法是进入容器,编辑 /var/www/discourse/plugins/discourse-data-explorer/plugin.rb 并将 QUERY_RESULT_MAX_LIMIT = 10000 更改为 QUERY_RESULT_MAX_LIMIT = 10000,然后运行 sv restart unicorn 查看会发生什么。当然,不允许如此大的查询是有原因的;如果你对你的基础设施能够处理它有信心,或者不介意一点点不稳定,这可能会奏效。

如果世界没有爆炸,那么你可以在 app.yml 中添加一些东西,在每次重建时克隆插件后修改该文件。这可能会与使用 docker_manager 进行升级发生冲突。(你可以查看一些其他修改文件的模板来弄清楚一些东西可能是什么。)

@DonH 如果你需要那个查询很多次,而且只有一个,那么你可能想要一个插件以某种方式提供它。例如,它可以分块写入一个文件,你可以通过某个路径检索它。

3 个赞

感谢您的建议,Jay。我确实考虑过编写一个插件,但考虑到各种批量操作,也可以从 Rails 控制台完成,但我不懂 Rails,而且这似乎需要触发嵌入式函数。除非将作业提交到核心,否则这会产生相同的覆盖问题。

到目前为止,我一直通过 Data Explorer(下行)和(非常小心地)psql(上行)进行管理,但我更愿意循规蹈矩,无论命运如何。

我应该明确我正在做什么。

我经营着一个论坛,这是它的第三次或第四次迭代,在我接手之前,它曾经历过 Phorum 和 phpBB 软件,以及其他一些东西。主题很窄,用户群很小,但内容在每次迁移中都得到了保留,并代表了大量的机构知识。Discourse 凭借其分类、标记和界面功能,似乎是提高知识可访问性的绝佳解决方案。

因此,我迁移了论坛,而它在之前的化身中从未被分类或标记过。我没有去浏览 10 万条帖子/8 千个主题,而是使用了一些自然语言处理软件来帮助进行分类和标记。然后,我直接更新 topics、categories 和 topic_tag 表,正如我所说,非常小心。

这个过程仍在进行中,但我有一个稳定的工作流程,并且可以轻松地完成手头的工具。不过,今后将定期进行更新,以纳入新的分类和标记,这些分类和标记可能与之前的数据相同,也可能不同。所以您可以看到其中的必要性。

显然,Data Explorer 是单向流,但它非常方便。我可以通过分批处理以及现在提高限制设置来克服大小限制,所以谢谢您。

1 个赞