愚蠢的问题——我们其中一个论坛的这个上限越来越近了。我们能否在不分叉插件的情况下超过它?
看起来有一个隐藏的设置,用于默认的 1000 显示限制,允许它高达 10,000。但我不需要那个,而且 1000 对于 Data Explorer 中的 UI 来说很有意义。
但是,电子表格可以处理更多。我想做的是能够导出到更高的限制(例如 20,000)。这可行吗?
愚蠢的问题——我们其中一个论坛的这个上限越来越近了。我们能否在不分叉插件的情况下超过它?
看起来有一个隐藏的设置,用于默认的 1000 显示限制,允许它高达 10,000。但我不需要那个,而且 1000 对于 Data Explorer 中的 UI 来说很有意义。
但是,电子表格可以处理更多。我想做的是能够导出到更高的限制(例如 20,000)。这可行吗?
我今晚也碰巧遇到了这个 10,000 条记录的限制。有什么办法可以突破它吗?我需要再增加一个数量级。
一种测试方法是进入容器,编辑 /var/www/discourse/plugins/discourse-data-explorer/plugin.rb 并将 QUERY_RESULT_MAX_LIMIT = 10000 更改为 QUERY_RESULT_MAX_LIMIT = 10000,然后运行 sv restart unicorn 查看会发生什么。当然,不允许如此大的查询是有原因的;如果你对你的基础设施能够处理它有信心,或者不介意一点点不稳定,这可能会奏效。
如果世界没有爆炸,那么你可以在 app.yml 中添加一些东西,在每次重建时克隆插件后修改该文件。这可能会与使用 docker_manager 进行升级发生冲突。(你可以查看一些其他修改文件的模板来弄清楚一些东西可能是什么。)
@DonH 如果你需要那个查询很多次,而且只有一个,那么你可能想要一个插件以某种方式提供它。例如,它可以分块写入一个文件,你可以通过某个路径检索它。
感谢您的建议,Jay。我确实考虑过编写一个插件,但考虑到各种批量操作,也可以从 Rails 控制台完成,但我不懂 Rails,而且这似乎需要触发嵌入式函数。除非将作业提交到核心,否则这会产生相同的覆盖问题。
到目前为止,我一直通过 Data Explorer(下行)和(非常小心地)psql(上行)进行管理,但我更愿意循规蹈矩,无论命运如何。
我应该明确我正在做什么。
我经营着一个论坛,这是它的第三次或第四次迭代,在我接手之前,它曾经历过 Phorum 和 phpBB 软件,以及其他一些东西。主题很窄,用户群很小,但内容在每次迁移中都得到了保留,并代表了大量的机构知识。Discourse 凭借其分类、标记和界面功能,似乎是提高知识可访问性的绝佳解决方案。
因此,我迁移了论坛,而它在之前的化身中从未被分类或标记过。我没有去浏览 10 万条帖子/8 千个主题,而是使用了一些自然语言处理软件来帮助进行分类和标记。然后,我直接更新 topics、categories 和 topic_tag 表,正如我所说,非常小心。
这个过程仍在进行中,但我有一个稳定的工作流程,并且可以轻松地完成手头的工具。不过,今后将定期进行更新,以纳入新的分类和标记,这些分类和标记可能与之前的数据相同,也可能不同。所以您可以看到其中的必要性。
显然,Data Explorer 是单向流,但它非常方便。我可以通过分批处理以及现在提高限制设置来克服大小限制,所以谢谢您。