Миграция базы данных vBulletin 5: ошибки скрипта импорта

Наверное, это финальное обновление.

Нам наконец удалось синхронизировать всё (инфраструктуру, код, пользователей, модераторов и т. д.) и завершить миграцию. Это произошло вчера. Я не буду давать ссылку на сообщество, так как не помню, разрешено ли это, да и в любом случае это довольно известное сообщество в Италии.

Вот цифры, которые мы показываем в среднем за 30 дней, боты уже отфильтрованы.

На команду волонтёров, занимавшихся этим, конечно, оказывалось considerable давление, и работа ещё не завершена: мы всё ещё доводим до ума кастомную тему и некоторые настройки фона Discourse (похоже, мне придётся открыть множество тем с просьбами о помощи, уточнениях и указаниях).

Наш скрипт успешно перенёс всё, что было необходимо:

  • пользователей
  • группы пользователей
  • статусы модераторов, банов и администраторов
  • личные сообщения
  • категории
  • темы
  • ответы

и так далее. Мы также интегрировали процесс «приготовления» (cooking) в саму миграцию, так как в vBulletin есть некоторые кастомизации для встраивания твитов, видео с YouTube и другого контента, который некорректно обрабатывался бы стандартным механизмом «приготовления» в Discourse.

Тесты мы запускали на сервере с 4 ядрами и 8 ГБ ОЗУ, и вся миграция заняла около 7–8 часов.
Для продакшена мы собрали достаточно средств на Patreon, чтобы арендовать сервер с 8 ядрами и 30 ГБ ОЗУ, и весь процесс занял 4 часа.

Мы провели прямую трансляцию миграции, включив пару неудачных стартов (конечно же :stuck_out_tongue:) и фоновую музыку. Нам было очень весело.

Детали количества тем/сообщений и временных меток можно увидеть на скриншоте.
Три временных показателя: время на чтение, время на «приготовление» (cooking), время на запись.

Это было утомительное, но захватывающее приключение, и, @pfaffman, поверьте, вам повезло, что я решил не привлекать вашу помощь.

На сегодня подсчёт только моего времени на этот проект составляет примерно £25k :rofl:
Я не учитываю время, которое другие трое человек посвятили проекту за последние два месяца, часто работая над ним глубокой ночью.

Мы всё ещё выполняем некоторые скрипты постмиграции: один импортирует все аватары пользователей, а другой создаёт все перенаправления постоянных ссылок, чтобы ссылки внутри ответов, которые всё ещё указывают на старый формат URL, корректно перенаправлялись. Ожидаю, что они завершатся в течение следующих 24 часов.

Через пару недель мы обсудим, можно ли очистить репозиторий нашего скрипта и выпустить его с открытым исходным кодом. Конечно, я не могу принять такое решение в одиночку.

Редактирование: Добавляю полную миграцию всех аватаров пользователей + постоянных ссылок на внутренние ссылки на темы/категории.

image

Запущено после основной миграции данных.

Всего наилучшего!