10,000件の制限を超えてエクスポートする方法は?

ジェイ、アドバイスありがとうございます。プラグインの作成についても考えましたが、さまざまな一括操作については、Railsコンソールからでも実行可能であるべきだと考えています。しかし、私はRailsを知りませんし、いずれにしても埋め込み関数をトリガーする必要があるようです。ジョブがコアにコミットされない限り、同じ上書きの問題が発生します。

これまでは、下位ではデータエクスプローラー、上位では(非常に注意して)psqlを使用してきましたが、運命がどうであれ、やはり正式な方法で行いたいと考えています。

おそらく、私が何をしているのかを明確にする必要があるでしょう。

私は、PhorumとphpBBソフトウェアを経て、その前に何か別のものを経て、3度目か4度目の現れとなるフォーラムを運営しています。主題は狭く、ユーザーベースは小さいですが、コンテンツは各移行で引き継がれており、多くの組織的知識を表しています。Discourseは、そのカテゴリ分け、タグ付け、インターフェース機能により、知識へのアクセス性に対する優れたソリューションのように思えました。

そのため、以前の形態ではカテゴリ分けもタグ付けもされていなかったフォーラムを移植しました。10万件の投稿/8千件のスレッドを読み込むのではなく、自然言語処理ソフトウェアを使用して、カテゴリ分けとタグ付けを支援してきました。その後、前述のように、トピック、カテゴリ、トピックタグのテーブルを直接更新しています。

プロセスはまだ進行中ですが、安定したワークフローがあり、手元にあるツールで簡単に完了できます。しかし、今後、新しいカテゴリ分けやタグ付けを組み込むための定期的な更新があり、それらは以前のデータとは異なる場合もあれば、そうでない場合もあります。したがって、その必要性がお分かりいただけるでしょう。

明らかに、データエクスプローラーは一方向の流れですが、非常に便利でした。バッチ処理を行うことで、そして今では制限設定を引き上げることで、サイズ制限を克服できます。ありがとうございます。