Migrate a mailing list to Discourse (mbox, Listserv, Google Groups, etc)

Документация Переход на Discourse
242

The solution is literally in the post above yours. :wink:

We should fix the script. Maybe you can create a PR that resolves the issue for everyone?

243

Thanks, that fixed it, sorry about that. In penance for my inability to read I opened Added duplication to name to prevent modification of frozen string exception by adam-skalicky · Pull Request #30325 · discourse/discourse · GitHub to save anyone else the shame of asking a dumb question.

1 лайк
244

Does this import script make Discourse replicate Mailman 2 email threading in any way (eg using the little Discourse arrow to signify "In-Reply-To) or is it purely chronological (for each thread based on Message-ID, In-Reply-To and References)?

1 лайк
245

Yes, it does

3 лайка
246

Cool. Quite a few of my mailing list emails haven’t got the In-Reply-To and References headers that they should have, so might be imported as new topics rather than just replies. From memory, the script uses those headers or subject headers (not both).

I think I might have asked this in the distant past, but are there any non-manual ways of adding these headers to the MBOX file and/or otherwise rearranging the emails before or after importing to Discourse?

It’s possible now to merge topics and keep chronological order so maybe that’s the answer. They’d just be missing the little Discourse arrow to signify who the message was in reply to.

1 лайк
247

The mbox import script has two phases. The first one is indexing and outputs a SQLite database. You could either modify the data in the SQLite before the import, or you modify the Ruby script.

All the magic of sorting/grouping by subject or headers happens here:

You could add your own logic of grouping if you know how you want to group emails.

3 лайка
248

It’ll be a while before I even consider something so complex!

At https://bazaar.launchpad.net/~mailman-coders/mailman/2.1/view/head:/Mailman/Archiver/pipermail.py#L669 Mailman 2’s Pipermail seems to look for the following in order of preference:

  1. In-Reply-To.
  2. References.
  3. Oldest email with matching subject.

That combination of approaches seems ideal. In the third case, it might make sense for Discourse not to use the “in reply to” arrow.

From memory, Mailman 3’s Hyperkitty didn’t consider subject at all, which was not as good.

2 лайка
249

Pardon me chiming in with a possibly stupid question, but I could not find a clear answer here. I would like to know if the import process creates a new Discourse user for each email, with de-duplication of course, or if they all go in as one system user. I have a mailing list with 20 years of posts and it’s pretty big and hard to experiment with. Abd also, what about replies in the original list? Do they get threaded in?

250

Yes, the users get created, one per email address.

252

Я смог сделать Google Takeout для моих групп Google, загрузить файлы .mbox и импортировать их.

Эти шаги помогли сопоставить data/folder с существующей категорией, но это нужно выполнять в контейнере import, а не в контейнере app, как указано в этой статье: ссылка:

./launcher enter import
rails c

# Используйте ID категории, отображаемый в URL, например
# это 16, если путь к категории выглядит так: /c/soccer/16
category = Category.find(16)

# Используйте имя директории, где хранятся файлы mbox. Например,
# если файлы хранятся в import/data/foo, в качестве имени директории следует использовать "foo".
category.custom_fields["import_id"] = "soccer"
category.save!

У меня уже есть пользователи в Discourse, которые перешли самостоятельно, поэтому скрипт импорта не смог создать контакты для них (вероятно, это не проблема), но импортированные сообщения, в которых участвовали эти существующие пользователи Discourse, показывают отправителя как system вместо их имени.

Есть ли способ сопоставить существующих пользователей с их импортированными сообщениями?

Пока я отменил всё, восстановившись из недавней резервной копии. Готов попробовать снова с рекомендациями по работе с существующими пользователями Discourse и их импортированными сообщениями.

Обновление:

Claude помог решить задачу сопоставления существующих пользователей. Необходимо запустить этот цикл в консоли rails в дополнение к вышеуказанному коду:

User.where("id > 0").find_each do |u|
  email = u.email.downcase
  unless u.custom_fields["import_id"].present?
    u.custom_fields["import_id"] = email
    u.save_custom_fields
  end
end
1 лайк