Analyse/importation de portions d'un très grand export JSON d'un autre forum

J’ai un forum que nous venons de migrer avec de nombreuses discussions (malheureusement pas toutes, environ 500 sur des milliers) qui doivent être archivées/accessibles pendant toute la durée de vie du projet. Il provient de cpmmonwealth.im - une plateforme assez similaire.

J’ai l’historique complet exporté par leur API - 3 fichiers JSON assez volumineux (entre 3 et 16 Mo) - communautés, sujets, fils, commentaires et réactions. (2 d’entre eux dont je n’ai pas besoin, les petits…)
Peu importe même s’ils sont importés dans leur format d’origine de Fil > commentaire > commentaire etc. Cela peut simplement être chaque fil + commentaires combinés en un seul message de type transcription. Je vais les ajouter en tant que « nouveaux fils » dans le sujet « archive » et les verrouiller immédiatement de toute façon.

En gros, je ne sais vraiment pas par où commencer. Je peux comprendre un certain niveau de ‘jq’, et j’ai chargé l’un des JSON dans une application web, mais cela a rendu mon PC presque inutilisable.
L’un des membres de l’équipe de support a mentionné un script pour transférer du JSON dans une base de données SQL ou quelque chose comme ça ? Je ne suis pas vraiment très familier avec la plupart de ces choses, mais je peux probablement m’y mettre, j’ai juste besoin d’une orientation pour commencer.

Voir discourse/script/import_scripts/drupal_json.rb at main · discourse/discourse · GitHub pour un exemple et cherchez-y d’autres scripts qui traitent du json.

3 « J'aime »

Je viens de créer ma propre chose ici, bien que maintenant je doive encore la traduire dans un format que l’API Discourse peut gérer.

Les scripts json prennent simplement le json et le placent dans une base de données sql et la lisent.

1 « J'aime »

Euh, je connais très très peu de choses à tout ça et encore moins au SQL, donc c’est là que j’ai décidé d’aller lol… c’était quand même assez amusant.

1 « J'aime »