Ich benötigte eine Methode, um mein Discourse-Forum auf GitHub zu archivieren, fand aber, dass viele der verfügbaren Skripte veraltet oder fehlerhaft waren. Daher beschloss ich, einige einfache Skripte zu erstellen, die meinen Anforderungen entsprechen. Obwohl sie nicht perfekt sind und noch einige kleinere Probleme aufweisen, erfüllen sie meine aktuellen Bedürfnisse, da ich nicht mehr viel Zeit für dieses Projekt habe.
https://github.com/c0mmando/discourse-to-markdown-archiver
- Archiviert neue Beiträge als JSON.
- Rendert Themen in Markdown-Dateien.
- Unterstützung für mehrere Discourse-Sites gleichzeitig (eine Site nach der anderen).
- Separate Metadatenverfolgung pro Site (Datum der letzten Synchronisierung und archivierte Beitrags-IDs).
- Gleichzeitiges Rendern von Themen mithilfe eines Thread-Pools zur Leistungssteigerung.
- Exponentielle Backoff für HTTP-Anfragen zur Behandlung von Ratenbeschränkungen oder vorübergehenden Fehlern.
https://github.com/c0mmando/discourse-to-github-archiver
- Beiträge archivieren: Speichert jeden Discourse-Beitrag in einer JSON-Datei, organisiert nach Erstellungsdatum.
- Gleichzeitiges Rendern: Rendert Themen gleichzeitig und konvertiert Beiträge von HTML in Markdown.
- Bilder herunterladen: Verarbeitet HTML zum Herunterladen von Bildern und schreibt Bild-URLs in relative Pfade um.
- Metadaten aktualisieren: Verfolgt archivierte Beiträge, um Duplikate zu vermeiden.
- Inkrementelle README-Aktualisierungen: Aktualisiert eine
README.mdmit einem Inhaltsverzeichnis zur einfachen Navigation.
Hier ist ein Beispiel für ein archiviertes Github-Forum:
https[://]github[.]com/c0mmando/forum.hackliberty.org