Well, that’s a massive bummer!
I thought Google hadn’t touched it since February 2015, but I stand corrected.
Looks like there was a complete redesign in 2020 and a logo touch-up in 2021.
I am thinking of using the APIs of GMAIL and Discourse and convert mail thread to discourse post. I have gone through the google apis and was able to get the emails but have a few questions about them.
- Mail can be downloaded in raw format which is the base64 encoded value of “Original message” of mail. Is that the same as mbox format or is it different?
- Is there any sample example of how to add posts and attachments to discourse through API?
Interesting. Is it possible to use the Gmail API to access emails from Google Groups or do you simply have a Gmail account that has all the emails that were sent to the group?
I suggest you save all message into individual *.eml files. You will need to decode the message before saving if the whole message (including the email headers) is base64 encoded. Afterwards follow the steps from Migrate a mailing list to Discourse (mbox, Listserv, Google Groups, etc) (minus the Google Groups steps). The import script will take care of posts, attachments and a lot more.
1 „Gefällt mir“
I am a member of the group so I am able to pull the mails using my email. The entire email message including headers will be part of the encoded string.
Will try your approach for import into discourse at least for a thread.
1 „Gefällt mir“
Well, in that case you might not even need the Gmail API. Connecting an email client like Thunderbird to your Gmail account and exporting individual emails or an mbox file should be enough…
Now I’d really like to know how this works. I was under the impression that Google Groups doesn’t support NNTP.
1 „Gefällt mir“
It’s not NNTP but Rest API.
3 „Gefällt mir“
My mailbox size is more than 200GB and to get specific group-related emails I might need to download all these mails using thunderbird also thunderbird is not showing the google groups all mails are under Inbox only. It is also downloading only 200 emails each time. So, I am not sure how long it could take to get mails etc.
Is there any alternative way to just get a google group data and export it to mbox?
Hi Gerhard Schlager,
We are trying to migrate our google groups to Discourse we followed all the above steps as per the document but it only creates the category in Discourse and not importing the data. Would really appreciate if you can respond on this one quickly.
The only way that we knew about doesn’t work anymore. If you know any way to get the data, then you should do that. If you know a way to get it, you should probably start getting it asap before that method too goes away.
If it’s in your mailbox then it might be possible to use that Gmail api to pull it down. It’ll be tricky though, as a developer would need access to a mailbox with google group data in it to write the code.
Unless an enterprise customer who requires it, I doubt that cdck (aka discourse.org) will be writing that code any time soon. You can ask in marketplace. I likely wouldn’t consider it for under $2000 and, given the frustration that I have had with the Google groups import script on the past, would likely require $5000. Or course, someone else may have better skills or more patience.
One approach that may work is using Integromat to write a conversion assuming google groups and discourse apps are available. Or using the http calls to call the rest APIs on their own.
Integromat is an integration data migration system. It’s very powerful and can do a lot with little to no coding.
Ich habe Google Takeout ausprobiert, indem ich mich selbst zum Besitzer unserer Google Workspace-Gruppe gemacht und die Google Group-Konversationen herunterladen konnte. Ich arbeite aber noch am Import.
Ein paar Nachteile dieses Ansatzes:
- Vollständige Daten müssen erneut heruntergeladen werden, wenn ein inkrementelles Update erforderlich ist.
- Es ist nicht möglich, selektive Gruppendaten herunterzuladen, stattdessen werden Daten für alle Gruppen heruntergeladen, für die der Benutzer über Besitzer- oder Managerberechtigungen verfügt.
- Sie müssen mit dem Google Workspace-Administrator zusammenarbeiten, um Takeout zu aktivieren, da es standardmäßig deaktiviert ist.
3 „Gefällt mir“
Hallo @Anjana_Raghavendra_P – ist es Ihnen gelungen, einen einfachen Import mit diesem Ansatz durchzuführen?
Vielen Dank!
Ja, ich kann die mbox-Datei von Takeout herunterladen und sie mit den im ursprünglichen Beitrag genannten Schritten importieren.
Da wir den PAAS-Dienst von Discourse nutzen, haben wir die Datei später dem technischen Team von Discourse zur Verfügung gestellt, das den Inhalt erfolgreich auf die Discourse-Plattform importieren konnte.
2 „Gefällt mir“
Das freut mich zu hören – danke!
Ich bin auf das Problem von @sturdy2 gestoßen, als ich in settings.yml die erste Zeile data_dir: /shared/import/data von ihrem Standardwert geändert habe.
Wichtige Erkenntnis: Ändern Sie sie nicht, da sie sich auf den Pfad innerhalb des Import-Docker bezieht, nicht auf den des Hauptrechners.
Ich habe eine Frage zum Neustart eines Imports?
Ich bin kein Entwickler, aber es ist mir gelungen, zwei mbox-Dateien erfolgreich zu importieren, die aus einem System namens Topicbox Group Email stammen. Ich habe meinen Testimport in eine temporäre Instanz von Discourse durchgeführt, die ich auf Digital Ocean eingerichtet habe. Und ich konnte meine beiden Beispiel-mbox-Dateien in bereits erstellte Kategorien in Discourse importieren, dank der Hinweise zum Setzen der Kategorie.custom_fields["import_id"] = "mydir" von oben.
Juhu! Aber wenn ich weitere mbox-Dateien importieren möchte, muss ich dann alle Befehle aus FAQ 2.2 ausführen, die besagen, dass alles “gelöscht” wird?
2 „Gefällt mir“
Ich konnte erfolgreich meine “import_id” für zwei verschiedene Kategorien als anfänglichen Testimport festlegen. Es hat funktioniert! Meine beiden mbox-Dateien wurden in die vorhandenen Kategorien importiert, die ich angegeben habe.
Ich habe 18 verschiedene Kategorien, mit denen ich das letztendlich tun muss. Ich weiß nichts über Ruby. Kann ich eine Datei erstellen, die den Verzeichnisnamen für jede meiner verschiedenen Kategorien festlegt, damit ich nicht jede Zeile manuell in der Ruby-Befehlszeilenschnittstelle eingeben muss?
2 „Gefällt mir“
Yes. Mehr Google “ruby for each”. And create an array with so of the categories.
1 „Gefällt mir“
Nein, das musst du nicht. Der Importeur unterstützt inkrementelle Importe. Er importiert beim nächsten Lauf nur neue Daten. Führe die Befehle aus 2.2 nicht aus, es sei denn, du möchtest von vorne beginnen.
Das ist derzeit leider nicht möglich. Du musst jeder Kategorie die import_id zuweisen, wenn du in bestehende Kategorien importieren möchtest.
2 „Gefällt mir“
Vielen Dank, @gerhard, für all deine fantastische Arbeit daran! Ich bin kein Entwickler, aber ich konnte eine Migration von einem Listenanbieter namens Topicbox durchführen. Ich konnte mbox-Dateien von Topicbox für den Import in Discourse erhalten. Während meiner Schritte mit Versuch und Irrtum habe ich alles in einem Blogbeitrag dokumentiert. Wenn es also in Ordnung ist, wollte ich einen Link zu diesem Blogbeitrag für alle anderen Topicbox-Benutzer einfügen, die zu Discourse konvertieren möchten.
4 „Gefällt mir“