Хочу задать вопрос по импортеру SMF2. Он работает корректно, но выполняется очень медленно.
Причём скорость постоянно падает. Ранее я пробовал миграцию с Drupal — тогда процесс шёл быстрее и занял 3–4 дня. За всю ночь smf2.rb продвинулся лишь на 3%. За 18 часов прогресс составил всего 8,2%.
Мой вопрос: какой лучший способ ускорить эту операцию?
Сколько постов в минуту он сообщает? Сколько у вас постов?
Последующие запуски будут быстрее, так как они пропускают уже импортированные данные, поэтому при окончательном переключении вы сможете минимизировать время простоя.
У вас быстрый процессор и достаточно оперативной памяти? Оптимизирован ли PostgreSQL?
Привет @pfaffman, после миграции импорт пользователей еще не начался, сейчас идет процесс импорта, и скорость составляет около 1900 элементов в минуту, но фактически обрабатывается только 60–70 элементов в минуту.
Есть какие-нибудь предложения, как ускорить эту операцию?
Сколько всего пользователей?
1900 в минуту — это максимум, что я видел.
Что вы имеете в виду под 60–70 в минуту?
Существуют некоторые скрипты пакетного импорта, которые работают быстрее, но, насколько я знаю, для SMF2 такого нет.
Всего около 5,8 лакх пользователей. Да, 1900 в минуту — это очень много, но на самом деле процесс идет не с такой скоростью: как я проверяю на бэкенде, так и по интерфейсу, миграция составляет около 60–70 в минуту. Я также проверил эту папку — скрипта для SMF2 там нет. Есть ли где-то еще скрипт для массового импорта для SMF2?
Если пользователи не импортируются по какой-то причине (возможно, они уже существуют?), то число, которое отображается, — это количество импортированных пользователей.
Ах, но если вы запускаете это после первоначального импорта, то это число завышено, потому что оно учитывает пользователей, которые уже существовали на момент запуска скрипта. Так что на импорт таких пользователей уйдёт примерно неделя.
Сколько постов?
Насколько быстро работает машина? Сколько у неё оперативной памяти? Что вы сделали для настройки PostgreSQL? Является ли исходная база данных узким местом?
Мне неизвестно о каком-то секретном скрипте для массового импорта в SMF2. У меня был импорт, который выполнялся неделями. Финальный импорт не займёт столько времени. Просто наберитесь терпения.