Teile aus sehr großem JSON-Export von anderem Forum parsen/importieren

Ich habe ein Forum, das wir gerade migriert haben, mit vielen Diskussionen (leider nicht allen, etwa 500 von Tausenden), die für die Lebensdauer des Projekts archiviert/zugänglich sein müssen. Es stammt von cpmmonwealth.im – einer ziemlich ähnlichen Plattform.

Ich habe den gesamten Verlauf über ihre API exportiert – 3 ziemlich große (zwischen 3 und 16 MB) JSON-Dateien – Communities, Themen, Threads, Kommentare und Reaktionen. (2 davon brauche ich nicht, die kleinen…)
Es spielt nicht einmal eine Rolle, ob sie in ihrem ursprünglichen Format Thread > Kommentar > Kommentar usw. importiert werden. Es kann auch einfach jeder Thread + Kommentare, die zu einer einzigen Nachricht im Transkript-Stil kombiniert werden. Ich werde sie sowieso als „neue Threads“ im Thema „Archiv“ hinzufügen und sofort sperren.

Im Grunde weiß ich nicht einmal, wo ich anfangen soll. Ich kann ein gewisses Maß an „jq“ verstehen und ich habe eine der JSON-Dateien in eine Webanwendung geladen, aber das hat meinen PC fast unbrauchbar gemacht.
Einer der Support-Mitarbeiter hier erwähnte ein Skript, um JSON in eine SQL-Datenbank oder so etwas zu exportieren? Ich bin mit den meisten Dingen nicht sehr vertraut, aber ich kann es wahrscheinlich lernen, ich brauche nur eine Richtung, um anzufangen.

Siehe discourse/script/import_scripts/drupal_json.rb at main · discourse/discourse · GitHub für ein Beispiel und suche dort nach anderen Skripten, die JSON verarbeiten.

3 „Gefällt mir“

Ich habe hier gerade meine eigene Sache gemacht, obwohl ich das jetzt noch in ein Format übersetzen muss, das die Discourse API verarbeiten kann.

Die JSON-Skripte nehmen einfach die JSON-Daten und fügen sie in eine SQL-Datenbank ein und lesen diese aus.

1 „Gefällt mir“

Äh, ich weiß sehr, sehr wenig über all das und noch weniger über SQL, also habe ich mich dafür entschieden, lol… es hat sowieso irgendwie Spaß gemacht.

1 „Gefällt mir“