从另一个论坛解析/导入非常大的JSON导出的部分

我们刚刚迁移了一个论坛,其中有许多讨论(不幸的是并非全部,大约有 500 条,而我们有数千条),需要将其存档/在项目生命周期内可访问。它来自 cpmmonwealth.im——一个相当相似的平台。

我已经通过其 API 导出了完整的历史记录——3 个相当大的(介于 3-16MB 之间)JSON 文件——包括社区、主题、帖子、回复和反应。(其中 2 个我不需要,较小的那些……)
即使它们以原始格式“帖子 > 回复 > 回复”等导入,也无所谓。可以将每个帖子+回复合并成一条记录式消息。我将把它们作为“新帖子”添加到“存档”主题中,并立即锁定它们。

基本上我只是不知道从哪里开始。我可以掌握一些“jq”的用法,并且我将一个 JSON 文件加载到一个 Web 应用程序中,但这几乎让我的电脑无法使用。
我们这里的一位支持团队成员提到了一个脚本,可以将 JSON 转储到 SQL 数据库或其他什么?我对这些东西不太熟悉,但我应该能学会,我只需要一些方向来开始。

请参阅 discourse/script/import_scripts/drupal_json.rb at main · discourse/discourse · GitHub 获取示例,并查看那里用于处理 json 的其他脚本。

3 个赞

我刚在这里创建了自己的东西,不过现在我需要将其翻译成 Discourse API 可以处理的格式。

JSON 脚本只是获取 JSON 并将其插入 SQL 数据库并读取它。

1 个赞

嗯,我对这一切知之甚少,对 SQL 更是知之甚少,所以我就选择了这个方向,哈哈……不过也挺有趣的。

1 个赞