Будьте готовы к корректировке скрипта. У каждой установки vBulletin есть свои плагины, пользовательские поля и особенности BBCode. Большинство реальных импортов требуют небольших изменений в скрипте. Выполните полный тестовый импорт на машине разработки перед работой с продуктивной средой.
script/import_scripts/vbulletin3.rb (те же шаги, другое имя скрипта)
vBulletin 5
script/import_scripts/vbulletin5.rb
Очень большие форумы (миллионы сообщений)
script/bulk_import/vbulletin.rb (значительно быстрее, но имеет меньше функций и сложнее в настройке)
Что импортируется
Группы
Пользователи (забаненные пользователи становятся приостановленными)
Форумы: каждый родительский и дочерний форум становится категорией и подкатегорией
Темы
Закреплённая тема → закреплённый топик
Закрытая тема → закрытый топик
Мягко удалённая или модерированная тема → топик вне списка
Сообщения
Личные сообщения
Вложения
Аватары (только если они хранятся в базе данных, см. ниже)
Постоянные ссылки для тем
Ограничения
Вы можете возобновить прерванный импорт и повторно запустить его с новой копией базы данных, чтобы загрузить новый контент. Уже импортированный контент не будет обновлён последующими изменениями.
Discourse поддерживает два уровня категорий. Форумы с более глубокой вложенностью будут сглажены.
Списки BBCode ([ul], [ol], [li]) конвертируются не полностью и могут потребовать ручной доработки.
Перед экспортом
Если vBulletin хранит аватары в файловой системе, импортёр их не найдёт. Посетите /admincp/avatar.php?do=storage на вашем сайте vBulletin и переместите аватары в базу данных до экспорта.
Затем экспортируйте базу данных на сервере vBulletin:
Скопируйте дамп и папку с вложениями на машину, куда будете выполнять импорт (например, с помощью scp или rsync). В настройках администратора vBulletin указано, где хранятся вложения.
Вариант A: Импорт на машине разработки (рекомендуется)
Импорт локально позволяет быстро вносить изменения и отбрасывать неудачные попытки. Когда результат будет выглядеть корректно, сделайте резервную копию сайта и восстановите её на продуктивном сервере.
Настройте среду разработки Discourse, следуя руководству для Ubuntu/Debian или macOS.
Установите MariaDB. Этоdrop-in замена для MySQL, а пакеты MySQL 5.7 больше недоступны в современных дистрибутивах.
sudo mysql -e "CREATE DATABASE vb4"
gunzip < vb4_dump.sql.gz | sudo mysql vb4
Начните с пустой базы данных Discourse:
bin/rails db:drop db:create db:migrate
Запустите импортёр. Вы можете останавливать и перезапускать его в любой момент, так как он пропускает уже импортированный контент.
export DB_HOST="localhost"
export DB_NAME="vb4"
export DB_USER="root"
export DB_PW="" # Пароль root для MariaDB, если вы его задали
export TABLE_PREFIX="vb_" # Ваш префикс таблиц, или "", если его нет
export ATTACHMENT_DIR="/путь/к/вложениям" # Папка с вложениями, которую вы скопировали
export TIMEZONE="America/Los_Angeles" # Часовой пояс, использованный в vBulletin
IMPORT=1 bundle exec ruby script/import_scripts/vbulletin.rb
Запустите Discourse и дайте фоновым заданиям завершиться. Запустите bin/dev, а во втором терминале выполните bundle exec sidekiq. Пере-выпечка сообщений и обработка изображений могут занять много времени на большом форуме. Вы можете следить за прогрессом на http://localhost:4200/sidekiq.
Скопируйте дамп и вложения в /var/discourse/shared/standalone/ на хосте. Внутри контейнера они будут доступны по пути /shared/, и файлы там сохранятся после пересборки контейнера.
Войдите в контейнер и установите MariaDB:
cd /var/discourse
./launcher enter app
apt-get update
apt-get install -y mariadb-server libmariadb-dev
service mariadb start
Установите гемы импортёра:
cd /var/www/discourse
echo "gem 'php-serialize', require: false" >> Gemfile
su discourse -c 'bundle config set --local deployment false && bundle config set --local frozen false'
su discourse -c 'IMPORT=1 bundle install'
Загрузите базу данных vBulletin:
mysql -e "CREATE DATABASE vb4"
gunzip < /shared/vb4_dump.sql.gz | mysql vb4
Запустите импортёр. Запускайте его внутри tmux или screen, чтобы обрыв соединения по SSH не прервал процесс.
cd /var/www/discourse
su discourse -c 'DB_NAME=vb4 DB_USER=root DB_PW="" TABLE_PREFIX=vb_ \
ATTACHMENT_DIR=/shared/attachments TIMEZONE=America/Los_Angeles \
IMPORT=1 bundle exec ruby script/import_scripts/vbulletin.rb'
Очистка. Удалите файлы, которые вы скопировали в /shared, затем пересоберите контейнер. Пересборка удалит MariaDB и дополнительные гемы и восстановит исходный Gemfile.
exit
cd /var/discourse
./launcher rebuild app
Рекомендуемые параметры сайта
Установите эти параметры перед импортом. Вы также можете задать их в get_site_settings_for_import в файле script/import_scripts/base.rb, что удобно при повторных тестовых импортах.
login_required: включите эту опцию до завершения импорта и проверки.
slug_generation_method: установите значение encoded, если ваш форум не на английском языке, чтобы URL-адреса тем сохраняли свои не-ASCII заголовки.
download_remote_images_to_local: отключите эту опцию, если вы не хотите, чтобы Discourse загружал изображения, связанные по горячим ссылкам в старых сообщениях.
disable_system_edit_notifications: включите эту опцию, чтобы пользователей не уведомляли о каждом системном редактировании сообщений при обработке изображений.
Известные проблемы
Integer values are not supported (ArgumentError) в parse_timestamp. Это касается старых копий скрипта, работающих с новыми версиями tzinfo. Обновитесь до последней версии Discourse или измените `parse_timestamp` на:
def parse_timestamp(timestamp)
return nil if timestamp.blank?
Time.zone.at(@tz.utc_to_local(Time.at(timestamp.to_i)))
end
Цитаты с именами пользователей, содержащими пробелы, или вложенные цитаты не конвертируются. См. этот ответ для улучшенных регулярных выражений.
Can't connect to local server through socket. MariaDB не запущена. Запустите её командой service mariadb start.
The script will now import avatars, but they must be embedded into the database. To do so, I’m told that you visit /admincp/avatar.php?do=storage and do something there. It seemed to work for the last client I did an import for.
Hey, @erlend_sh, make this a wiki and I’ll add to it in a few days when I submit a PR for this importer.
I was following your guide to import my vBulletin forum to Discourse. I am using a docker container for Discourse. I ran the following command:
I got a long list of errors:
sudo: no tty present and no askpass program specified
sudo: no tty present and no askpass program specified
[...]
sudo: no tty present and no askpass program specified
sudo: no tty present and no askpass program specified
Bundler::SudoNotPermittedError: Bundler requires sudo access to install at the moment. Try installing again, granting Bundler sudo access when
prompted, or installing into a different path.
An error occurred while installing rake (11.2.2), and Bundler cannot continue.
Make sure that `gem install rake -v '11.2.2'` succeeds before bundling.
I am new to ruby on rails and dockers. I do understand the concept of gems and Bundler.
What do these errors mean and how can I resolve them?
I am planning to write a script that will import the passwords for my case.
I know the mysql tables I need to consider for vBulletin. What is the table in PostgreSQL for Discourse that stores passwords and is used during login?
You don’t want to directly touch the Discourse tables. You want a script like this. When I last used it and tried to import the passwords, it ran really slowly. I’m not sure why, but after reading this I decided that it’s probably not a bad idea to make people change their passwords.
@pfaffman - You mentioned you used import_pass field in your import script.
Where exactly do you put the import_pass field? And how do you use it?
If you could share it would be great help.
I have tried using this script but it failed 90% into the import of the users:
su discourse -c 'RAILS_ENV=production ruby script/import_scripts/vbulletin.rb'
root:XXXX@localhost wants vb4
loading existing groups...
loading existing users...
loading existing categories...
loading existing posts...
loading existing topics...
importing groups...
6 / 19 ( 31.6%) Failed to create group id 7 Moderators: ["Name has already been taken"]
19 / 19 (100.0%)
importing users
2746 / 15319 ( 17.9%) W, [2017-10-12T10:07:05.104837 #3578] WARN -- : Bad date/time value "0000:00:00 00:00:00": mon out of range
W, [2017-10-12T10:07:05.106562 #3578] WARN -- : Bad date/time value "0000:00:00 00:00:00": mon out of range
W, [2017-10-12T10:07:05.107305 #3578] WARN -- : Bad date/time value "0000:00:00 00:00:00": mon out of range
13901 / 15319 ( 90.7%) script/import_scripts/vbulletin.rb:137:in `strip': invalid byte sequence in UTF-8 (ArgumentError)
from script/import_scripts/vbulletin.rb:137:in `block (2 levels) in import_users'
from /var/www/discourse/script/import_scripts/base.rb:226:in `block in create_users'
from /var/www/discourse/script/import_scripts/base.rb:225:in `each'
from /var/www/discourse/script/import_scripts/base.rb:225:in `create_users'
from script/import_scripts/vbulletin.rb:133:in `block in import_users'
from /var/www/discourse/script/import_scripts/base.rb:784:in `block in batches'
from /var/www/discourse/script/import_scripts/base.rb:783:in `loop'
from /var/www/discourse/script/import_scripts/base.rb:783:in `batches'
from script/import_scripts/vbulletin.rb:117:in `import_users'
from script/import_scripts/vbulletin.rb:78:in `execute'
from /var/www/discourse/script/import_scripts/base.rb:45:in `perform'
from script/import_scripts/vbulletin.rb:902:in `<main>'
Anyone have any suggestions regarding how to debug and fix this?
The database claims is using one encoding, but some of the data is encoded some other way. A job I just did had a similar problem. UTF-8 likely does not exist when you started your forum.
This is probably a problem for stack exchange or a database person. It’s not a problem with the importer.
It’s the kind of problem that will take 10 minutes following a recipe that you don’t understand, ten hours looking for that recipe, or 100 hours fixing it by hand.
Cheers @pfaffman I was approaching the same conclusion… I started writing up the following before your comment…
It looks like it might be caused by non-ascii characters in usernames, so dumping the usernames into a text file and searching for UTF-8:
echo "select username from user" | mysql -p vb4 | grep --color='auto' -P -n "[^[:ascii:]]"
These were the entities this threw up:
’ ´ – é ã Ñ í ó
So I used this page to generate encoded versions and updated the usernames in the database, for example:
UPDATE user SET username="’ ´ – é ã Ñ í ó" WHERE username="’ ´ – é ã Ñ í ó"
But the script still fails:
script/import_scripts/vbulletin.rb:137:in `strip': invalid byte sequence in UTF-8 (ArgumentError)
from script/import_scripts/vbulletin.rb:137:in `block (2 levels) in import_users'
from /var/www/discourse/script/import_scripts/base.rb:226:in `block in create_users'
from /var/www/discourse/script/import_scripts/base.rb:225:in `each'
from /var/www/discourse/script/import_scripts/base.rb:225:in `create_users'
from script/import_scripts/vbulletin.rb:133:in `block in import_users'
from /var/www/discourse/script/import_scripts/base.rb:784:in `block in batches'
from /var/www/discourse/script/import_scripts/base.rb:783:in `loop'
from /var/www/discourse/script/import_scripts/base.rb:783:in `batches'
from script/import_scripts/vbulletin.rb:117:in `import_users'
from script/import_scripts/vbulletin.rb:78:in `execute'
from /var/www/discourse/script/import_scripts/base.rb:45:in `perform'
from script/import_scripts/vbulletin.rb:902:in `<main>'
So I then dumped the whole users table into a text file:
echo "select * from user" | mysql -p vb4 > /tmp/allusers.txt
And then tried all the suggesting in this stackexchange thread for finding non-ascii characters and none were found, so now to search the whole database for the problem…
When I find a solution I’ll post it here in case it helps others…
The problem almost certainly exists in other tables.
You need to figure out what it’s encoded in and fix it.
Or, it could be that for some years it’s in one encoding and other years it’s another.
Best of luck. I was relieved they my client had engineers they solved the problem so I didn’t have to. I may have some notes that I’ll try to find when I get out of bed.
The database on the old server was UTF-8 but clearly it has some non-UTF-8 in it, the site has been in use for a long time and has 13k users… so taking care with dumping the old database:
mysqldump -uroot -p database -r dump.sql
And trying various methods to check the encoding (thanks to Stackexchange):
file dump.sql
dump.sql: ASCII text, with very long lines
apt install uchardet
uchardet dump.sql
UTF-8
iconv -f utf-8 -t utf-8 dump.sql > dump.utf-8.sql
iconv: illegal input sequence at position 29618109
apt install moreutils
isutf8 dump.sql
dump.sql: line 2995, char 42, byte 29618109: Expecting bytes in the following ranges: 00..7F C2..F4.
And before I delete the line using vim I need to increase the size of the partitions as it is a 1.4G file and I’m running out of space when editing it…
The problem was a user with �� in the username field, once the HTML entities were removed the import script ran, but there were a lot of errors like this:
ERR Error running script (call to f_b06356ba4628144e123b652c99605b873107c9be): @user_script:14: @user_script: 14: -MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk. Commands that may modify the data set are disabled. Please check Redis logs for details about the error.
Is this something that I should be concerned about and something that I should fix and then redo the import?