Eso nunca reconstruye el contenedor, por lo que es seguro.
¿No tenemos esto ya según:
docker_args: .... en tu yaml.
docker_args: ....