Well, that’s a massive bummer!
I thought Google hadn’t touched it since February 2015, but I stand corrected.
Looks like there was a complete redesign in 2020 and a logo touch-up in 2021.
I am thinking of using the APIs of GMAIL and Discourse and convert mail thread to discourse post. I have gone through the google apis and was able to get the emails but have a few questions about them.
- Mail can be downloaded in raw format which is the base64 encoded value of “Original message” of mail. Is that the same as mbox format or is it different?
- Is there any sample example of how to add posts and attachments to discourse through API?
Interesting. Is it possible to use the Gmail API to access emails from Google Groups or do you simply have a Gmail account that has all the emails that were sent to the group?
I suggest you save all message into individual *.eml files. You will need to decode the message before saving if the whole message (including the email headers) is base64 encoded. Afterwards follow the steps from Migrate a mailing list to Discourse (mbox, Listserv, Google Groups, etc) (minus the Google Groups steps). The import script will take care of posts, attachments and a lot more.
1 « J'aime »
I am a member of the group so I am able to pull the mails using my email. The entire email message including headers will be part of the encoded string.
Will try your approach for import into discourse at least for a thread.
1 « J'aime »
Well, in that case you might not even need the Gmail API. Connecting an email client like Thunderbird to your Gmail account and exporting individual emails or an mbox file should be enough…
Now I’d really like to know how this works. I was under the impression that Google Groups doesn’t support NNTP.
1 « J'aime »
It’s not NNTP but Rest API.
3 « J'aime »
My mailbox size is more than 200GB and to get specific group-related emails I might need to download all these mails using thunderbird also thunderbird is not showing the google groups all mails are under Inbox only. It is also downloading only 200 emails each time. So, I am not sure how long it could take to get mails etc.
Is there any alternative way to just get a google group data and export it to mbox?
Hi Gerhard Schlager,
We are trying to migrate our google groups to Discourse we followed all the above steps as per the document but it only creates the category in Discourse and not importing the data. Would really appreciate if you can respond on this one quickly.
The only way that we knew about doesn’t work anymore. If you know any way to get the data, then you should do that. If you know a way to get it, you should probably start getting it asap before that method too goes away.
If it’s in your mailbox then it might be possible to use that Gmail api to pull it down. It’ll be tricky though, as a developer would need access to a mailbox with google group data in it to write the code.
Unless an enterprise customer who requires it, I doubt that cdck (aka discourse.org) will be writing that code any time soon. You can ask in marketplace. I likely wouldn’t consider it for under $2000 and, given the frustration that I have had with the Google groups import script on the past, would likely require $5000. Or course, someone else may have better skills or more patience.
One approach that may work is using Integromat to write a conversion assuming google groups and discourse apps are available. Or using the http calls to call the rest APIs on their own.
Integromat is an integration data migration system. It’s very powerful and can do a lot with little to no coding.
J’ai essayé Google Takeout en me désignant comme propriétaire de notre groupe Google Workspace et j’ai pu télécharger les conversations du groupe Google. Je travaille encore à l’importation.
Quelques inconvénients de cette approche.
- Nécessité de télécharger à nouveau toutes les données si une mise à jour incrémentielle est nécessaire.
- Impossible de télécharger des données de groupe sélectives ; cela téléchargera les données de tous les groupes pour lesquels l’utilisateur a des autorisations de propriétaire ou de gestionnaire.
- Nécessité de travailler avec l’administrateur Google Workspace pour activer le takeout car il est désactivé par défaut.
3 « J'aime »
Salut @Anjana_Raghavendra_P - avez-vous réussi à faire une importation simple en utilisant cette approche ?
Merci beaucoup !
Oui, je suis en mesure de télécharger le fichier mbox depuis Takeout et de l’importer en suivant les étapes mentionnées dans le post original.
Plus tard, comme nous utilisons le service PAAS de Discourse, nous avons fourni le fichier à l’équipe technique de Discourse qui a pu importer le contenu sur la plateforme Discourse.
2 « J'aime »
Je suis heureux de l’apprendre - merci !
J’ai rencontré le problème de @sturdy2 lorsque dans settings.yml, j’ai modifié la première ligne data_dir: /shared/import/data, par rapport à sa valeur par défaut.
Message à retenir : ne le modifiez pas car il fait référence au chemin à l’intérieur du conteneur docker d’importation, et non à la machine principale.
J’ai une question sur le redémarrage d’une importation ?
Je ne suis pas développeur, mais j’ai réussi à importer avec succès deux fichiers mbox provenant d’un système appelé Topicbox Group Email. J’ai effectué mon importation de test dans une instance temporaire de Discourse que j’ai configurée sur Digital Ocean. Et j’ai pu importer mes deux fichiers mbox d’exemple dans des catégories existantes que j’avais déjà créées dans Discourse, grâce aux notes sur la définition de la catégorie.custom_fields["import_id"] = "mydir" ci-dessus.
Hourra ! Mais si je veux importer d’autres fichiers mbox, dois-je exécuter toutes les commandes mentionnées dans la FAQ 2.2, qui indique qu’elle « supprimera tout » ?
2 « J'aime »
J’ai réussi à définir mon « import_id » pour deux catégories différentes lors d’un premier test d’importation. Ça a fonctionné ! Mes deux fichiers mbox ont été importés dans les catégories existantes que j’avais spécifiées.
J’ai 18 catégories différentes avec lesquelles je dois finalement faire cela. Je ne connais rien à Ruby. Puis-je créer un fichier qui définit le nom du répertoire pour chacune de mes différentes catégories afin de ne pas avoir à entrer manuellement chaque ligne dans l’interface de ligne de commande Ruby ?
2 « J'aime »
Oui. Cherchez « ruby for each » sur Google. Et créez un tableau avec certaines des catégories.
1 « J'aime »
Non, vous n’avez pas à le faire. L’importateur prend en charge les importations incrémentielles. Il importera uniquement les nouvelles données lors de la prochaine exécution. Veuillez ne pas exécuter les commandes mentionnées dans 2.2, sauf si vous souhaitez recommencer à zéro.
Malheureusement, ce n’est pas possible actuellement. Vous devez attribuer à chaque catégorie l’import_id si vous souhaitez importer dans des catégories existantes.
2 « J'aime »
Merci @gerhard pour tout votre travail incroyable ! Je ne suis pas développeur, mais j’ai pu réaliser une migration depuis un système de listes de diffusion appelé Topicbox. J’ai pu obtenir des fichiers mbox de Topicbox pour les importer dans Discourse. Au cours de mes étapes d’essais et d’erreurs, j’ai tout documenté dans un article de blog. Alors, si cela vous convient ? Je voulais coller un lien vers cet article de blog pour tous les autres utilisateurs de Topicbox qui souhaitent migrer vers Discourse.
4 « J'aime »