phpBB3からWP/Discourseへの移行におけるユーザーデータ破損

kiefferr · 2023 年 6 月 7 日午後 2:40

時折、ユーザーデータを古いphpBB3ベースのサイトからインポートした直後に、WPからDiscourseへの同期中に一部のユーザーデータが別のユーザーのデータと破損するという問題が発生しています。頻繁に発生するわけではなく、オンデマンドで再現することもできないため、残念ながら開発チームはこれを問題としてほとんど無視しています。

最初のケースでは、テストユーザーアカウントの1つがデータのインポート直後に削除されましたが、そのテストユーザーのアバターが別のユーザーのプロファイルに割り当てられ、インポート完了時にそのユーザーとしてログインしていました。

2番目のケースでは、WPでテストユーザーを登録し、Discourseとの同期が発生したときに、このテストユーザーがDiscourseの既存ユーザーのユーザー名と一部のカスタムプロファイルおよびグループデータを取得しました。スクリーンショットを参照してください。

これらのケースの両方で、Discourseの重複ユーザーがテストユーザーのアカウント破損に関与していました。例：agmolnarとagmolnar1、tbm960cとtbm960c1

これらの重複ユーザーがいくつかあり、ほとんどがインポートされたphpBB3のデータファイル上の匿名ユーザーから来たと推測しています。

以前に同様のケースを見たことがある方や、問題の原因についてのヒントをお持ちの方はいらっしゃいますか？インポート前にphpBB3のインポートファイルから匿名ユーザーを削除するようにチームに依頼する価値はありますか？

提案があれば教えてください。

Canapin · 2023 年 6 月 7 日午後 3:57

Ryanさん、こんにちは。

これらのファイルを確認して、何か役立つ情報が見つかるか見てみてください。

github.com/discourse/discourse

script/import_scripts/phpbb3/database/database_3_0.rb

96c6e535a


      
                LEFT OUTER JOIN #{@table_prefix}banlist b ON (
                  u.user_id = b.ban_userid AND b.ban_exclude = 0 AND
                  (b.ban_end = 0 OR b.ban_end >= UNIX_TIMESTAMP())
                )
              WHERE u.user_id > #{last_user_id} AND u.user_type != #{Constants::USER_TYPE_IGNORE}
              ORDER BY u.user_id
              LIMIT #{@batch_size}
            SQL
          end
          
          def count_anonymous_users
            count(<<-SQL)
              SELECT COUNT(DISTINCT p.post_username) AS count
              FROM #{@table_prefix}posts p
                JOIN #{@table_prefix}users u ON (p.poster_id = u.user_id)
              WHERE p.post_username <> '' AND u.user_type = #{Constants::USER_TYPE_IGNORE}
            SQL
          end
          
          def fetch_anonymous_users(last_username)
            last_username = escape(last_username)

また：

github.com/discourse/discourse

script/import_scripts/phpbb3/importer.rb

main


      
                begin
                  next if user_id_from_imported_user_id(@settings.prefix(row[:user_id]))
                  importer.map_user(row)
                rescue => e
                  log_error("Failed to map user with ID #{row[:user_id]}", e)
                end
              end
            end
          end
          
          def import_anonymous_users
            puts "", "creating anonymous users"
            total_count = @database.count_anonymous_users
            importer = @importers.user_importer
            last_username = ""
          
            batches do |offset|
              rows, last_username = @database.fetch_anonymous_users(last_username)
              break if rows.size < 1
          
              create_users(rows, total: total_count, offset: offset) do |row|

そして：

github.com/discourse/discourse

script/import_scripts/phpbb3/importers/user_importer.rb

main


      
                  suspend_user(user, row)
                  @avatar_importer.import_avatar(user, row) if row[:user_avatar_type].present?
                end,
            }
          end
          
          def map_anonymous_users_to_import_ids(rows)
            rows.map { |row| @settings.prefix(row[:post_username]) }
          end
          
          def map_anonymous_user(row)
            username = row[:post_username]
          
            {
              id: @settings.prefix(username),
              email: "anonymous_#{SecureRandom.hex}@no-email.invalid",
              username: username,
              name: @settings.username_as_name ? username : "",
              created_at: Time.zone.at(row[:first_post_time]),
              active: true,
              trust_level: TrustLevel[0],

匿名ユーザーをインポートしないようにこの部分を変更するか、奇妙な問題につながる手がかりを見つけられるかもしれません。

kiefferr · 2023 年 6 月 7 日午後 4:32

Coin-coinさん、ありがとうございます。インポート前にユーザーデータファイルから匿名ユーザーを削除した場合、匿名投稿は（現在もそうであるように）「システム」ユーザーに割り当てられると想定しています。インポートファイルからphpBBの匿名ユーザーを除外する理由で、私が知らないものはありますか？

これや、以下のような他のスレッドから推測しています。

私たちにとっての問題は、本質的にWPに存在しない重複ユーザーである匿名ユーザーに関連しているようです。WPのユーザーIDの構造を変更する新規インポートで、WPの新規作成されたテストユーザーを排除し、Discourseが外部WP IDでユーザーを最初に紐付けようとすることが原因のようです。

新規インポートを実行し、WPのテストアカウントを削除すると、WPの新たに作成されたユーザーが、存在しなくなった古いテストユーザーの古いIDで同期されるようです。

上記リンクの投稿#5で説明されているように、新規インポート中に外部IDではなくメールアドレスでユーザーを紐付けるように強制することで、古いユーザーと新しいユーザーの不要なマージの可能性を排除できるはずです。

これらはすべて理にかなっていますか？

ありがとうございます。

leonardo · 2023 年 6 月 7 日午後 8:25

これには、一意のユーザーへの投稿の帰属が失われるという問題があります。そのため、すべての投稿が単一の system ユーザーから発信されているように見える会話をたどることが困難になります。参加者を互いに区別できなくなります。

その通りです。概念的には、そのままにしておき、管理ユーザープロファイルUIを使用して同じであるべきユーザーをマージするか、提案されているようにメールを外部IDとして送信するだけで、一致するメールアドレスを持つ既存のアカウントに新しいログインが接続されるようになります。

後者の方が明らかに抵抗が少ないパスです

maiki · 2023 年 6 月 8 日午前 1:36

@kiefferr 画像に含まれる詳細に気づき、共有する意図がない可能性があったため削除しました。必要であれば、画像を再アップロードしてください。

pfaffman · 2023 年 6 月 8 日午前 10:46

あなたは、ディスコースとphpbb3のコミュニティを同時に実行し、phpbb3から定期的にデータをインポートしていると言っているのですか？

kiefferr · 2023 年 6 月 8 日午後 1:11

現時点ではそのように思えますが、新しいWP/Discourseサイトの開発は長引いています。いいえ、Discourseはまだ開発中です。phpbb3を中心に構築されたカスタムサイトを置き換えています。

最初のインポートを実行し、次にカットオーバー前の最終インポートに備えて別のテストインポートを行うことにしました。ライブサイトでこれらのバグを追跡したくなかったので、そうしてよかったです。

kiefferr · 2023 年 6 月 8 日午後 8:33

皆さん、こんにちは。追加のご質問があります。最終的なインポート/移行の直前に、外部IDではなくメールでユーザーを照合するように強制すること、およびSSOレコードを削除してクリーンに再伝播できるようにすることについて、上記の調査結果を開発チームと共有しました。

しかし、彼らは元のphpBB3のエクスポートデータに何か問題があったと考えているようです。具体的には、そのデータに重複/匿名ユーザーが存在すること、およびメールが関連付けられていないphpBBユーザーが存在することです。以下のすべては、phpBB3データのインポートに関してDiscourseが処理できるはずのことのように思えます。私が間違っていますか？特に、Discourseが匿名ユーザーに偽のユーザー名を割り当てる方法については、これは標準的な運用手順です。

現在のphpBB3インストールからよりクリーンなデータを取得する必要がある場合、おそらくそれが可能です。しかし、phpBBデータに手を加える必要も、加えるべきでもないように思えます。それが問題だったわけではありません。

Discourseの新規インストールを実行し、phpBBからのデータを正常にインポートしました。

調査結果は以下のとおりです。
「…_users」テーブルには合計3270件のレコードが含まれています。
Discourseからインポートされたユーザーをダウンロードしたところ、Discourseには3251人のユーザーがいることがわかりました。
分析中に、いくつかのユーザーのDiscourseのユーザー名に「1」が追加されていることがわかりましたが、これは実際にはphpBBデータのユーザー名に由来するものです。特定のユーザー「redacted_username1」のみがphpBBデータに存在しません。しかし、ユーザー「redacted_username」はphpBBデータに存在します。

Discourseのユーザー名「edacted_username1」に関連付けられたメールは「anonymous_52996ba94025464fdf3e5f3ae131bdf5@no-email.invalid」です。これは、ユーザー名「redacted_username」がすでに匿名ユーザーによって使用されており、その後「1」が追加されたことを示唆しています。

今後のインポートでこのような発生を防ぐために、匿名ユーザーやその他の不要なユーザーを除外した新しいデータを取得する必要があります。

phpBBとDiscourseのユーザー数には19人の差があります。phpBBデータ内には、アカウントに関連付けられたメールがないユーザーが53人います。

Discourseで「anonymous」ユーザーを検索すると、現在サスペンドされている匿名メールを持つ32人のユーザーが返されます。これらの匿名ユーザーに割り当てられたユーザー名は、phpBBデータには見つかりません。これは、Discourseが匿名ユーザーに偽のユーザー名を割り当てており、将来エラーを引き起こす可能性があることを示唆しています。

要約すると、メールのない19人のユーザーはインポートされず、32人のユーザーは偽のユーザー名を持つ匿名メールとして同期されました。

インポートできるクリーンなPHPBBデータを提供してください。

さらに、これについて何か考えがあればお知らせください。

pfaffman · 2023 年 6 月 9 日午前 12:45

それらのユーザーをデータベースから削除しない限り、スクリプトを変更してそれらのユーザーを無視するようにします。部分的なダンプを取得することは、おそらく容易に再現できません。

それらのユーザーを現在のサイトから削除できるのであれば、それは良い解決策のように思えます。私の好みは、ダンプを繰り返し転送するのではなく、ライブデータベースを直接読み取ることです。

トピック		返信	表示
phpBB import issue Migration phpbb	1	553	2023 年 7 月 3 日
phpBB Migration Preparation Migration phpbb	1	130	2025 年 1 月 7 日
phpBB3 import script improvements Feature phbb	11	2760	2017 年 7 月 19 日
Change from phpbb to Discourse Migration phpbb	12	3993	2022 年 8 月 24 日
Migrate a phpBB3 forum to Discourse Migrating to Discourse how-to	467	97240	2025 年 9 月 4 日

phpBB3からWP/Discourseへの移行におけるユーザーデータ破損

関連トピック