Apenas para documentar a solução que encontrei. Para desativar o Let’s Encrypt e o SSL dentro do Docker, basta comentar
templates:
- templates/postgres.template.yml
- templates/redis.template.yml
- templates/web.template.yml
# - templates/web.ratelimited.template.yml
# - templates/web.ssl.template.yml
# - templates/web.letsencrypt.ssl.template.yml