vBulletin 4フォーラムをDiscourseに移行する

このガイドでは、インポートスクリプト script/import_scripts/vbulletin.rb を使用して、vBulletin 4 フォーラムを Discourse に移行する方法を説明します。

:warning: スクリプトの調整が必要になることを想定してください。 すべての vBulletin インストールには、独自のプラグイン、カスタムフィールド、BBCode の癖があります。実際のインポートのほとんどでは、スクリプトに小さな変更を加える必要があります。本番環境に触れる前に、開発マシンで完全なテストインポートを実行してください。

どのインポーターを使うべきですか?

フォーラム スクリプト
vBulletin 4 script/import_scripts/vbulletin.rb (このガイド)
vBulletin 3 script/import_scripts/vbulletin3.rb (手順は同じ、スクリプト名のみ異なる)
vBulletin 5 script/import_scripts/vbulletin5.rb
非常に大きなフォーラム (数百万件の投稿) script/bulk_import/vbulletin.rb (より高速ですが、機能は少なく、カスタマイズが難しい)

インポートされるもの

  • グループ
  • ユーザー (BANされたユーザーは一時停止されたユーザーになります)
  • フォーラム: 各親フォーラムと子フォーラムは、カテゴリとサブカテゴリになります
  • トピック
  • スティッキースレッド → 固定トピック
  • 閉じられたスレッド → 閉じられたトピック
  • ソフト削除またはモデレートされたスレッド → 非表示のトピック
  • 投稿
  • 私信
  • 添付ファイル
  • アバター (データベースに保存されている場合のみ、下記参照)
  • トピックのパーマリンク

注意事項

  • インポートを中断しても再開でき、新しいデータベーススナップショットに対して再実行して新しいコンテンツを取り込むことができます。すでにインポートされたコンテンツは、その後の編集によって更新されません。

  • Discourse はカテゴリを2階層までサポートしています。それ以上深くネストされたフォーラムはフラット化されます。

  • BBCode リスト ([ul], [ol], [li]) は完全に変換されない場合があり、手動での整理が必要なことがあります。

エクスポート前

vBulletin がアバターをファイルシステムに保存している場合、インポーターはそれらを見つけられません。vBulletin サイトで /admincp/avatar.php?do=storage を訪問し、エクスポートする前にアバターをデータベースに移動してください。

その後、vBulletin サーバーでデータベースをエクスポートします:

mysqldump -u USERNAME -p DATABASE_NAME | gzip > vb4_dump.sql.gz

ダンプと添付ファイルフォルダを、インポートを行うマシン (例: scp や rsync を使用) にコピーします。vBulletin の管理設定に、添付ファイルの保存場所が表示されます。

オプション A: 開発マシンでインポート (推奨)

ローカルでインポートすると、迅速に反復でき、失敗した試みを破棄できます。結果が正しければ、サイトをバックアップし、本番環境にリストアします。

  1. Ubuntu/Debian または macOS ガイドに従って、Discourse 開発環境をセットアップします。

  2. MariaDB をインストールします。これは MySQL のドロップイン置き換えであり、現在のディストリビューションでは MySQL 5.7 のパッケージが提供されなくなっています。

    # Ubuntu/Debian
    sudo apt-get update
    sudo apt-get install mariadb-server libmariadb-dev
    sudo service mariadb start
    
     # macOS
     brew install mariadb
     brew services start mariadb
    
  3. インポーターの gem をインストールします。IMPORT=1 が設定されている場合、mysql2 は含まれています。php-serialize を追加する必要があります:

    cd ~/discourse
    echo "gem 'php-serialize', require: false" >> Gemfile
    IMPORT=1 bundle install
    
  4. vBulletin データベースを読み込みます:

    sudo mysql -e "CREATE DATABASE vb4"
    gunzip < vb4_dump.sql.gz | sudo mysql vb4
    
  5. 空の Discourse データベースで開始します:

    bin/rails db:drop db:create db:migrate
    
  6. インポーターを実行します。すでにインポートされたコンテンツはスキップされるため、いつでも停止して再起動できます。

    export DB_HOST="localhost"  
    export DB_NAME="vb4"
    export DB_USER="root"
    export DB_PW=""                                # 設定した場合は MariaDB root パスワード
    export TABLE_PREFIX="vb_"                      # テーブルプレフィックス、ない場合は ""
    export ATTACHMENT_DIR="/path/to/attachments"   # コピーした添付ファイルフォルダ
    export TIMEZONE="America/Los_Angeles"          # vBulletin が使用していたタイムゾーン
    
    IMPORT=1 bundle exec ruby script/import_scripts/vbulletin.rb
    
  7. Discourse を起動し、バックグラウンドジョブが完了するのを待ちます。 bin/dev を実行し、2 つ目のターミナルで bundle exec sidekiq を実行します。大きなフォーラムでは、投稿の再ベイクと画像処理に時間がかかることがあります。進捗は http://localhost:4200/sidekiq で確認できます。

  8. 本番環境へ移行します。バックアップを作成し、Discourse サイトを別の VPS へ移動する ガイドに従って、本番サイトにリストアします。

オプション B: 本番コンテナ内で直接インポート

  1. 標準インストールガイド に従って Discourse をインストールします。

  2. サイト設定を調整します (下記の推奨サイト設定を参照)。

  3. ダンプと添付ファイルをホスト上の /var/discourse/shared/standalone/ にコピーします。コンテナ内では /shared/ 以下に表示され、コンテナの再ビルド後もファイルは残ります。

  4. コンテナに入り、MariaDB をインストールします:

    cd /var/discourse
    ./launcher enter app
    apt-get update
    apt-get install -y mariadb-server libmariadb-dev
    service mariadb start
    
  5. インポーターの gem をインストールします:

    cd /var/www/discourse
    echo "gem 'php-serialize', require: false" >> Gemfile
    su discourse -c 'bundle config set --local deployment false && bundle config set --local frozen false'
    su discourse -c 'IMPORT=1 bundle install'
    
  6. vBulletin データベースを読み込みます:

    mysql -e "CREATE DATABASE vb4"
    gunzip < /shared/vb4_dump.sql.gz | mysql vb4
    
  7. インポーターを実行します。SSH 切断でプロセスが kill されないように、tmux または screen 内で実行してください。

    cd /var/www/discourse
    su discourse -c 'DB_NAME=vb4 DB_USER=root DB_PW="" TABLE_PREFIX=vb_ \
    ATTACHMENT_DIR=/shared/attachments TIMEZONE=America/Los_Angeles \
    IMPORT=1 bundle exec ruby script/import_scripts/vbulletin.rb'
    
  8. クリーンアップします。/shared にコピーしたファイルを削除し、コンテナを再ビルドします。再ビルドにより、MariaDB と追加の gem が削除され、元の Gemfile が復元されます。

    exit
    cd /var/discourse
    ./launcher rebuild app
    

推奨サイト設定

インポート前にこれらを設定してください。script/import_scripts/base.rb の get_site_settings_for_import で設定することもでき、テストインポートを繰り返し実行する際に役立ちます。

  • login_required: インポートが完了し確認できるまで、これを有効にします。

  • slug_generation_method: フォーラムが英語でない場合、encoded に設定して、トピック URL の非 ASCII タイトルを保持します。

  • download_remote_images_to_local: 古い投稿でリンクされている画像を Discourse にダウンロードさせたくない場合は、これを無効にします。

  • disable_system_edit_notifications: システムが画像を処理するために各投稿を編集するたびにユーザーが通知されないように、これを有効にします。

既知の問題

  • parse_timestamp での Integer values are not supported (ArgumentError)。 これは、tzinfo の新しいバージョンでスクリプトの古いコピーを実行した場合に発生します。最新の Discourse に更新するか、parse_timestamp を以下のように変更してください:

    def parse_timestamp(timestamp)
    return nil if timestamp.blank?
       Time.zone.at(@tz.utc_to_local(Time.at(timestamp.to_i)))
    end
    
  • スペースを含むユーザー名の引用符や、ネストされた引用符は変換されません。 改善された正規表現については、この返信を参照してください。

  • Can't connect to local server through socket。 MariaDB が実行されていません。service mariadb start で起動してください。

「いいね!」 21

The script will now import avatars, but they must be embedded into the database. To do so, I’m told that you visit /admincp/avatar.php?do=storage and do something there. It seemed to work for the last client I did an import for.

Hey, @erlend_sh, make this a wiki and I’ll add to it in a few days when I submit a PR for this importer.

「いいね!」 6

I was following your guide to import my vBulletin forum to Discourse. I am using a docker container for Discourse. I ran the following command:

I got a long list of errors:

sudo: no tty present and no askpass program specified
sudo: no tty present and no askpass program specified
[...]
sudo: no tty present and no askpass program specified
sudo: no tty present and no askpass program specified

Bundler::SudoNotPermittedError: Bundler requires sudo access to install at the moment. Try installing again, granting Bundler sudo access when
prompted, or installing into a different path.
An error occurred while installing rake (11.2.2), and Bundler cannot continue.
Make sure that `gem install rake -v '11.2.2'` succeeds before bundling.

I am new to ruby on rails and dockers. I do understand the concept of gems and Bundler.
What do these errors mean and how can I resolve them?

「いいね!」 1

Ok so basically I had to install all the necessary gems.
The script worked quite well.

However, I am not able to login with one of the users I created on my vBulletin forum just before importing the database over to discourse.

「いいね!」 1

You’ll need to set passwords. The script doesn’t import them (last I looked).

And even if it did, you’d need to install a plugin to make them work.

「いいね!」 1

I am planning to write a script that will import the passwords for my case.
I know the mysql tables I need to consider for vBulletin. What is the table in PostgreSQL for Discourse that stores passwords and is used during login?

Prakarsh would you be able to share the forum url that you are trying to switch from? The vBulletin one. Will the Discourse one have the same URL?

Yes. Here it is: Brainstorm

Our plan is to keep the URL same for now. I cannot say when it will be live. Probably by end of next week if everything goes right :stuck_out_tongue:

「いいね!」 1

Before you do that, you should read this topic.

You don’t want to directly touch the Discourse tables. You want a script like this. When I last used it and tried to import the passwords, it ran really slowly. I’m not sure why, but after reading this I decided that it’s probably not a bad idea to make people change their passwords.

「いいね!」 3

@pfaffman - You mentioned you used import_pass field in your import script.
Where exactly do you put the import_pass field? And how do you use it?
If you could share it would be great help.

I have tried using this script but it failed 90% into the import of the users:

su discourse -c 'RAILS_ENV=production ruby script/import_scripts/vbulletin.rb'
root:XXXX@localhost wants vb4
loading existing groups...
loading existing users...
loading existing categories...
loading existing posts...
loading existing topics...

importing groups...
        6 / 19 ( 31.6%)  Failed to create group id 7 Moderators: ["Name has already been taken"]
       19 / 19 (100.0%)  
importing users
     2746 / 15319 ( 17.9%)  W, [2017-10-12T10:07:05.104837 #3578]  WARN -- : Bad date/time value "0000:00:00 00:00:00": mon out of range
W, [2017-10-12T10:07:05.106562 #3578]  WARN -- : Bad date/time value "0000:00:00 00:00:00": mon out of range
W, [2017-10-12T10:07:05.107305 #3578]  WARN -- : Bad date/time value "0000:00:00 00:00:00": mon out of range
    13901 / 15319 ( 90.7%)  script/import_scripts/vbulletin.rb:137:in `strip': invalid byte sequence in UTF-8 (ArgumentError)
        from script/import_scripts/vbulletin.rb:137:in `block (2 levels) in import_users'
        from /var/www/discourse/script/import_scripts/base.rb:226:in `block in create_users'
        from /var/www/discourse/script/import_scripts/base.rb:225:in `each'
        from /var/www/discourse/script/import_scripts/base.rb:225:in `create_users'
        from script/import_scripts/vbulletin.rb:133:in `block in import_users'
        from /var/www/discourse/script/import_scripts/base.rb:784:in `block in batches'
        from /var/www/discourse/script/import_scripts/base.rb:783:in `loop'
        from /var/www/discourse/script/import_scripts/base.rb:783:in `batches'
        from script/import_scripts/vbulletin.rb:117:in `import_users'
        from script/import_scripts/vbulletin.rb:78:in `execute'
        from /var/www/discourse/script/import_scripts/base.rb:45:in `perform'
        from script/import_scripts/vbulletin.rb:902:in `<main>'

Anyone have any suggestions regarding how to debug and fix this?

You have an encoding problem in your database.

The database claims is using one encoding, but some of the data is encoded some other way. A job I just did had a similar problem. UTF-8 likely does not exist when you started your forum.

This is probably a problem for stack exchange or a database person. It’s not a problem with the importer.

It’s the kind of problem that will take 10 minutes following a recipe that you don’t understand, ten hours looking for that recipe, or 100 hours fixing it by hand.

「いいね!」 3

Cheers @pfaffman I was approaching the same conclusion… I started writing up the following before your comment…

It looks like it might be caused by non-ascii characters in usernames, so dumping the usernames into a text file and searching for UTF-8:

echo "select username from user" | mysql -p vb4 | grep --color='auto' -P -n "[^[:ascii:]]"

These were the entities this threw up:

’ ´ – é ã Ñ í ó 

So I used this page to generate encoded versions and updated the usernames in the database, for example:

UPDATE user SET username="&rsquo; &acute; &ndash; &eacute; &atilde; &Ntilde; &iacute; &oacute;" WHERE username="’ ´ – é ã Ñ í ó"

But the script still fails:

script/import_scripts/vbulletin.rb:137:in `strip': invalid byte sequence in UTF-8 (ArgumentError)
        from script/import_scripts/vbulletin.rb:137:in `block (2 levels) in import_users'
        from /var/www/discourse/script/import_scripts/base.rb:226:in `block in create_users'
        from /var/www/discourse/script/import_scripts/base.rb:225:in `each'
        from /var/www/discourse/script/import_scripts/base.rb:225:in `create_users'
        from script/import_scripts/vbulletin.rb:133:in `block in import_users'
        from /var/www/discourse/script/import_scripts/base.rb:784:in `block in batches'
        from /var/www/discourse/script/import_scripts/base.rb:783:in `loop'
        from /var/www/discourse/script/import_scripts/base.rb:783:in `batches'
        from script/import_scripts/vbulletin.rb:117:in `import_users'
        from script/import_scripts/vbulletin.rb:78:in `execute'
        from /var/www/discourse/script/import_scripts/base.rb:45:in `perform'
        from script/import_scripts/vbulletin.rb:902:in `<main>'

So I then dumped the whole users table into a text file:

echo "select * from user" | mysql -p vb4 > /tmp/allusers.txt

And then tried all the suggesting in this stackexchange thread for finding non-ascii characters and none were found, so now to search the whole database for the problem…

When I find a solution I’ll post it here in case it helps others…

「いいね!」 2

The problem almost certainly exists in other tables.

You need to figure out what it’s encoded in and fix it.

Or, it could be that for some years it’s in one encoding and other years it’s another.

Best of luck. I was relieved they my client had engineers they solved the problem so I didn’t have to. I may have some notes that I’ll try to find when I get out of bed.

「いいね!」 1

The database on the old server was UTF-8 but clearly it has some non-UTF-8 in it, the site has been in use for a long time and has 13k users… so taking care with dumping the old database:

mysqldump -uroot -p database -r dump.sql

And trying various methods to check the encoding (thanks to Stackexchange):

file dump.sql 
  dump.sql: ASCII text, with very long lines

apt install uchardet 
uchardet dump.sql
  UTF-8

iconv -f utf-8 -t utf-8 dump.sql > dump.utf-8.sql
  iconv: illegal input sequence at position 29618109

apt install moreutils
isutf8 dump.sql 
  dump.sql: line 2995, char 42, byte 29618109: Expecting bytes in the following ranges: 00..7F C2..F4.

And this is a image line:

INSERT INTO `customavatar` VALUES (6355,'ÿØÿà\0^PJFIF\0^A^A\0\0^A\0^A\0\0ÿþ\0;CREATOR: gd-jpeg v1.0 (using IJG JPEG v62), quality = 75

And before I delete the line using vim I need to increase the size of the partitions as it is a 1.4G file and I’m running out of space when editing it…

「いいね!」 1

The problem was a user with &#55357;&#56444; in the username field, once the HTML entities were removed the import script ran, but there were a lot of errors like this:

ERR Error running script (call to f_b06356ba4628144e123b652c99605b873107c9be): @user_script:14: @user_script: 14: -MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk. Commands that may modify the data set are disabled. Please check Redis logs for details about the error. 

Is this something that I should be concerned about and something that I should fix and then redo the import?

Are you out of disk space?

「いいね!」 1

Yes! I’m now spinning up a new virtual server with a huge amount of disk space, CPUs and RAM and I’m going to start from scratch…

By the way, I’m following the instructions above for the Docker version and found that I needed to add an additional step in the container

echo "discourse ALL = NOPASSWD: ALL" >> /etc/sudoers

Before running:

su discourse -c 'bundle install --no-deployment --without test --without development'

In the non-docker instructions above there is this step to delete data from the database before doing the import:

  • Clear existing data from your local Discourse instance
cd ~/discourse
bundle exec rake db:drop db:create db:migrate

Was this omitted from the Docker instructions on purpose?

「いいね!」 1

There are two, different, vbulletin import scripts, in the docker container:

cd /var/www/discourse
find ./ -name vbulletin.rb
./script/bulk_import/vbulletin.rb
./script/import_scripts/vbulletin.rb

The second one is twice the size of the first one and it is the one I have been using.