Well, that’s a massive bummer!
I thought Google hadn’t touched it since February 2015, but I stand corrected.
Looks like there was a complete redesign in 2020 and a logo touch-up in 2021.
I am thinking of using the APIs of GMAIL and Discourse and convert mail thread to discourse post. I have gone through the google apis and was able to get the emails but have a few questions about them.
- Mail can be downloaded in raw format which is the base64 encoded value of “Original message” of mail. Is that the same as mbox format or is it different?
- Is there any sample example of how to add posts and attachments to discourse through API?
Interesting. Is it possible to use the Gmail API to access emails from Google Groups or do you simply have a Gmail account that has all the emails that were sent to the group?
I suggest you save all message into individual *.eml files. You will need to decode the message before saving if the whole message (including the email headers) is base64 encoded. Afterwards follow the steps from Migrate a mailing list to Discourse (mbox, Listserv, Google Groups, etc) (minus the Google Groups steps). The import script will take care of posts, attachments and a lot more.
1 curtida
I am a member of the group so I am able to pull the mails using my email. The entire email message including headers will be part of the encoded string.
Will try your approach for import into discourse at least for a thread.
1 curtida
Well, in that case you might not even need the Gmail API. Connecting an email client like Thunderbird to your Gmail account and exporting individual emails or an mbox file should be enough…
Now I’d really like to know how this works. I was under the impression that Google Groups doesn’t support NNTP.
1 curtida
It’s not NNTP but Rest API.
3 curtidas
My mailbox size is more than 200GB and to get specific group-related emails I might need to download all these mails using thunderbird also thunderbird is not showing the google groups all mails are under Inbox only. It is also downloading only 200 emails each time. So, I am not sure how long it could take to get mails etc.
Is there any alternative way to just get a google group data and export it to mbox?
Hi Gerhard Schlager,
We are trying to migrate our google groups to Discourse we followed all the above steps as per the document but it only creates the category in Discourse and not importing the data. Would really appreciate if you can respond on this one quickly.
The only way that we knew about doesn’t work anymore. If you know any way to get the data, then you should do that. If you know a way to get it, you should probably start getting it asap before that method too goes away.
If it’s in your mailbox then it might be possible to use that Gmail api to pull it down. It’ll be tricky though, as a developer would need access to a mailbox with google group data in it to write the code.
Unless an enterprise customer who requires it, I doubt that cdck (aka discourse.org) will be writing that code any time soon. You can ask in marketplace. I likely wouldn’t consider it for under $2000 and, given the frustration that I have had with the Google groups import script on the past, would likely require $5000. Or course, someone else may have better skills or more patience.
One approach that may work is using Integromat to write a conversion assuming google groups and discourse apps are available. Or using the http calls to call the rest APIs on their own.
Integromat is an integration data migration system. It’s very powerful and can do a lot with little to no coding.
Eu tentei o Google Takeout, tornando-me o proprietário do nosso grupo do Google Workspace e conseguindo baixar as conversas do grupo do Google. Ainda estou trabalhando na importação.
Algumas desvantagens dessa abordagem.
- Precisa baixar todos os dados novamente se precisar fazer uma atualização incremental.
- Não é possível baixar dados seletivos do grupo, em vez disso, ele baixará dados de todos os grupos para os quais o usuário tem permissões de proprietário ou gerente.
- Precisa trabalhar com o administrador do Google Workspace para habilitar o Takeout, pois ele está desabilitado por padrão.
3 curtidas
Oi @Anjana_Raghavendra_P - você conseguiu fazer uma importação simples usando essa abordagem?
Muito obrigado!
Sim, sou capaz de baixar o arquivo mbox do Takeout e importá-lo usando as etapas mencionadas na postagem original.
Posteriormente, como estamos usando o serviço PAAS do Discourse, fornecemos o arquivo para a equipe técnica do Discourse, que conseguiu importar o conteúdo para a plataforma do Discourse.
2 curtidas
Fico feliz em saber - obrigado!
Encontrei o problema do @sturdy2 quando, em settings.yml, alterei a primeira linha data_dir: /shared/import/data, de seu padrão.
Mensagem principal: não a altere, pois ela se refere ao caminho dentro do container docker de importação, não na máquina principal.
Tenho uma pergunta sobre reiniciar uma importação?
Não sou um desenvolvedor, mas consegui importar com sucesso dois arquivos mbox que vieram de um sistema chamado Topicbox Group Email. Fiz minha importação de teste em uma instância temporária do Discourse que configurei no Digital Ocean. E consegui importar meus dois arquivos mbox de exemplo em categorias existentes que já havia criado no Discourse, graças às notas sobre como definir a categoria.custom_fields["import_id"] = "mydir" mencionadas acima.
Yay! Mas se eu quiser importar mais arquivos mbox, preciso executar todos os comandos mencionados no FAQ 2.2, que indica que ele “excluirá tudo”?
2 curtidas
Consegui definir com sucesso meu “import_id” para duas categorias diferentes como uma importação de teste inicial. Funcionou! Meus dois arquivos mbox foram importados para as categorias existentes que especifiquei.
Tenho 18 categorias diferentes com as quais preciso fazer isso. Não sei nada sobre Ruby. Posso criar um arquivo que defina o nome do diretório para cada uma das minhas diferentes categorias para que eu não precise inserir manualmente cada linha na interface de linha de comando do Ruby?
2 curtidas
Sim. Pesquise mais no Google por "ruby for each". E crie um array com algumas das categorias.
1 curtida
Não, você não precisa. O importador suporta importações incrementais. Ele importará apenas novos dados na próxima execução. Por favor, não execute os comandos mencionados em 2.2, a menos que você queira começar do zero.
Infelizmente, isso não é possível no momento. Você precisa atribuir a cada categoria o import_id se quiser importar para categorias existentes.
2 curtidas
Obrigado @gerhard por todo o seu incrível trabalho nisso! Eu não sou um desenvolvedor, mas consegui concluir uma migração de um sistema de listas de discussão chamado Topicbox. Consegui obter arquivos mbox do Topicbox para importar para o Discourse. Durante minhas etapas de tentativa e erro, documentei tudo em uma postagem de blog. Então, se tudo bem? Eu queria colar um link para essa postagem de blog para outros usuários do Topicbox que queiram converter para o Discourse.
4 curtidas