Smf2 インポートスクリプトの実行が非常に遅い

smf2インポーターについて質問があります。正常に動作しますが、非常に遅いです。

そして、どんどん遅くなっていきます。以前Drupalで移行を試したときは少し速く、3〜4日かかりました。一晩中smf2.rbは3%しか進みませんでした。18時間で8.2%しか進んでいません。

私の質問は、操作を高速化するための最善の方法は何ですか?

1分あたり何件の投稿を報告していますか?投稿は何件ありますか?

既にインポートされたデータはスキップされるため、後続の実行はより高速になります。そのため、最終的な切り替えを行う際のダウンタイムを最小限に抑えることができます。

CPUは高速で、RAMは十分にありますか?Postgresは最適化されていますか?

「いいね!」 1

@pfaffman様、移行後の投稿はまだ開始されておらず、現在ユーザーのインポートが行われています。1分あたり約1900件のアイテムが表示されていますが、実際には1分あたり60〜70件のアイテムしか報告されていません。

この操作を高速化する方法について、何か提案はありますか?

ユーザーは何人いますか?

1900/分が私が今まで見た中で最高値です。

1分あたり60〜70というのはどういう意味ですか?

より高速な一括インポートスクリプトもありますが、smf2用のものはないと思います。

「いいね!」 1

ユーザーは合計約58万人です。そして、はい、1900/分は非常に高いですが、実際にはバックエンドとUIの両方から確認しているように、そのレートでは発生しておらず、1分あたり約60〜70ずつ移行しています。smf2用のスクリプトがないかフォルダも確認しましたが、利用可能なものはありませんでした。smf2用のバルクインポートスクリプトは他にどこかにありますか?

インポートされないユーザーがいる場合(すでに存在する場合?)を除き、報告される数値はインポートされたユーザーの数です。

ああ、しかし、初期インポート後に実行している場合、その数値はスクリプト開始時に存在していたユーザーをカウントしているため、インフレしています。したがって、それらをインポートするには約1週間かかります。

投稿数は?

マシンはどのくらいの速さですか?RAMはどのくらいですか?Postgresのチューニングのために何をしましたか?ソースデータベースがボトルネックになっていますか?

SMF2用の秘密のバルクインポートスクリプトについては知りません。インポートに数週間かかったことがあります。最終的なインポートはそれほど長くはかかりません。そのまま続行することをお勧めします。

「いいね!」 3