S3にソースマップをアップロードしないでください

.map ファイルは、ほとんどの人がローカル開発環境でのみ使用し、デバッグ目的で存在するだけなので、rake s3:upload_assets を実行する際に S3 にアップロードする必要はないと思います。