直接お答えすると、はい、その通りです。ビルドしたイメージには影響しません。このコマンドは docker stop && docker rm と同等であり、dockerイメージには全く影響しません。
docker stop && docker rm