Parsing/importazione di porzioni di un'esportazione JSON molto grande da un altro forum

Ho un forum che abbiamo appena migrato con molte discussioni (purtroppo non tutte, circa 500 su migliaia) che devono essere archiviate/accessibili per la durata del progetto. Proviene da cpmmonwealth.im - una piattaforma abbastanza simile.

Ho l’intera cronologia esportata dalla loro API - 3 file JSON abbastanza grandi (tra 3 e 16 MB) - community, argomenti, thread, commenti e reazioni. (2 di questi non mi servono, quelli piccoli…)
Non importa nemmeno se vengono importati nel loro formato originale di Thread > commento > commento ecc. Può essere semplicemente ogni thread + commenti combinati in un unico messaggio in stile trascrizione. Li aggiungerò come “nuovi thread” nell’argomento “archivio” e li bloccherò immediatamente comunque.

Fondamentalmente non so da dove cominciare. Posso capire un certo livello di ‘jq’, e ho caricato uno dei json in un’applicazione web ma ha reso il mio PC quasi inutilizzabile.
Uno del team di supporto qui ha menzionato uno script per scaricare JSON in un database SQL o qualcosa del genere? Non ho molta familiarità con la maggior parte di questo, ma probabilmente posso impararlo, ho solo bisogno di una direzione per iniziare.

Vedi discourse/script/import_scripts/drupal_json.rb at main · discourse/discourse · GitHub per un esempio e cerca lì altri script che elaborano json.

3 Mi Piace

Ho appena creato la mia cosa qui, anche se ora devo ancora tradurla in un formato che l’API di Discourse possa gestire.

Gli script json prendono semplicemente il json e lo inseriscono in un database sql e lo leggono.

1 Mi Piace

eh conosco pochissimo di tutto questo e ancora meno di sql, quindi è lì che ho deciso di andare lol… è stato comunque divertente.

1 Mi Piace