Well, that’s a massive bummer!
I thought Google hadn’t touched it since February 2015, but I stand corrected.
Looks like there was a complete redesign in 2020 and a logo touch-up in 2021.
I am thinking of using the APIs of GMAIL and Discourse and convert mail thread to discourse post. I have gone through the google apis and was able to get the emails but have a few questions about them.
- Mail can be downloaded in raw format which is the base64 encoded value of “Original message” of mail. Is that the same as mbox format or is it different?
- Is there any sample example of how to add posts and attachments to discourse through API?
Interesting. Is it possible to use the Gmail API to access emails from Google Groups or do you simply have a Gmail account that has all the emails that were sent to the group?
I suggest you save all message into individual *.eml files. You will need to decode the message before saving if the whole message (including the email headers) is base64 encoded. Afterwards follow the steps from Migrate a mailing list to Discourse (mbox, Listserv, Google Groups, etc) (minus the Google Groups steps). The import script will take care of posts, attachments and a lot more.
إعجاب واحد (1)
I am a member of the group so I am able to pull the mails using my email. The entire email message including headers will be part of the encoded string.
Will try your approach for import into discourse at least for a thread.
إعجاب واحد (1)
Well, in that case you might not even need the Gmail API. Connecting an email client like Thunderbird to your Gmail account and exporting individual emails or an mbox file should be enough…
Now I’d really like to know how this works. I was under the impression that Google Groups doesn’t support NNTP.
إعجاب واحد (1)
It’s not NNTP but Rest API.
3 إعجابات
My mailbox size is more than 200GB and to get specific group-related emails I might need to download all these mails using thunderbird also thunderbird is not showing the google groups all mails are under Inbox only. It is also downloading only 200 emails each time. So, I am not sure how long it could take to get mails etc.
Is there any alternative way to just get a google group data and export it to mbox?
Hi Gerhard Schlager,
We are trying to migrate our google groups to Discourse we followed all the above steps as per the document but it only creates the category in Discourse and not importing the data. Would really appreciate if you can respond on this one quickly.
The only way that we knew about doesn’t work anymore. If you know any way to get the data, then you should do that. If you know a way to get it, you should probably start getting it asap before that method too goes away.
If it’s in your mailbox then it might be possible to use that Gmail api to pull it down. It’ll be tricky though, as a developer would need access to a mailbox with google group data in it to write the code.
Unless an enterprise customer who requires it, I doubt that cdck (aka discourse.org) will be writing that code any time soon. You can ask in marketplace. I likely wouldn’t consider it for under $2000 and, given the frustration that I have had with the Google groups import script on the past, would likely require $5000. Or course, someone else may have better skills or more patience.
One approach that may work is using Integromat to write a conversion assuming google groups and discourse apps are available. Or using the http calls to call the rest APIs on their own.
Integromat is an integration data migration system. It’s very powerful and can do a lot with little to no coding.
لقد جربت Google Takeout بجعل نفسي مالكًا لمجموعة Google Workspace الخاصة بنا وتمكنت من تنزيل محادثات مجموعة Google. ما زلت أعمل على استيرادها.
هناك عدد قليل من السلبيات لهذا النهج.
- الحاجة إلى تنزيل البيانات بالكامل مرة أخرى إذا لزم الأمر لإجراء تحديث تزايدي.
- غير ممكن تنزيل بيانات مجموعة انتقائية بدلاً من ذلك، سيؤدي هذا إلى تنزيل بيانات لجميع المجموعات التي يمتلك المستخدم صلاحيات المالك أو المدير لها.
- الحاجة إلى العمل مع مسؤول Google Workspace لتمكين التصدير لأنه معطل افتراضيًا.
3 إعجابات
مرحباً @Anjana_Raghavendra_P - هل تمكنت من إجراء استيراد بسيط باستخدام هذا النهج؟
شكراً جزيلاً!
نعم، أنا قادر على تنزيل ملف mbox من Takeout واستيراده باستخدام الخطوات المذكورة في المنشور الأصلي.
لاحقًا، نظرًا لأننا نستخدم خدمة PAAS الخاصة بـ Discourse، فقد تم تقديم الملف إلى فريق الدعم الفني لـ Discourse، والذي تمكن من استيراد المحتوى إلى منصة Discourse.
إعجابَين (2)
يسعدني سماع ذلك - شكراً!
لقد واجهت مشكلة @sturdy2 عندما قمت في settings.yml بتغيير السطر الأول data_dir: /shared/import/data من قيمته الافتراضية.
الخلاصة: لا تغيره لأنه يشير إلى المسار داخل حاوية الاستيراد (import docker) وليس على الجهاز الرئيسي.
لدي سؤال حول إعادة تشغيل استيراد؟
أنا لست مطورًا، لكنني تمكنت من استيراد ملفين mbox بنجاح جاءا من نظام يسمى Topicbox Group Email. لقد أجريت استيرادًا تجريبيًا إلى نسخة مؤقتة من Discourse قمت بإعدادها على Digital Ocean. وتمكنت من استيراد ملفي mbox النموذجيين إلى فئات موجودة كنت قد أنشأتها بالفعل في Discourse، وذلك بفضل الملاحظات حول تعيين الفئة.custom_fields[“import_id”] = “mydir” من الأعلى.
رائع! ولكن إذا كنت أرغب في استيراد المزيد من ملفات mbox، فهل يجب علي تشغيل جميع الأوامر المذكورة في الأسئلة الشائعة 2.2، والتي تشير إلى أنها “ستحذف كل شيء”؟
إعجابَين (2)
تمكنت من تعيين “import_id” الخاص بي بنجاح لفئتين كاختبار استيراد أولي. لقد نجح الأمر! تم استيراد ملفي mbox الخاصين بي إلى الفئات الموجودة التي حددتها.
لدي 18 فئة مختلفة أحتاج في النهاية إلى القيام بذلك معها. لا أعرف شيئًا عن Ruby. هل يمكنني إنشاء ملف يحدد اسم الدليل لكل فئة من فئاتي المختلفة حتى لا أضطر إلى إدخال كل سطر يدويًا في واجهة سطر أوامر Ruby؟
إعجابَين (2)
نعم. ابحث عن المزيد من Google “ruby for each”. وأنشئ مصفوفة تحتوي على بعض الفئات.
إعجاب واحد (1)
لا، ليس عليك ذلك. يدعم المستورد الاستيراد التدريجي. سيقوم فقط باستيراد البيانات الجديدة في المرة التالية. يرجى عدم تشغيل الأوامر المذكورة في 2.2 إلا إذا كنت تريد البدء من الصفر.
للأسف، هذا غير ممكن حاليًا. تحتاج إلى تعيين import_id لكل فئة إذا كنت تريد الاستيراد إلى فئات موجودة.
إعجابَين (2)
شكراً جزيلاً @gerhard على كل عملك المذهل في هذا! أنا لست مطوراً، لكنني تمكنت من إكمال عملية ترحيل من نظام قوائم البريد يسمى Topicbox. تمكنت من الحصول على ملفات mbox من Topicbox لاستيرادها إلى Discourse. خلال خطوات التجربة والخطأ، وثقت كل شيء في منشور مدونة. لذلك، إذا كان الأمر مقبولاً؟ أردت لصق رابط لهذا المنشور لأي مستخدمي Topicbox آخرين يرغبون في التحويل إلى Discourse.
4 إعجابات