データベースなしで Rake assets:precompile を実行

いいえ、そうではありません。

5〜6 分に対して「数秒」であるべきですが、専用のデータコンテナと Web コンテナが必要です。何を優先するかによります。

また、ベンチマークによると、高速なサーバー での再構築は約 3 分です。