Acredito que optei por isso há um tempo (sem a configuração de proxy que você mencionou). Não tenho certeza se isso se aplica a todos os firewalls (ou talvez a algo na minha configuração)
mas no meu caso com o ufw, vale a pena mencionar que o docker ignora o ufw por padrão, então você precisa garantir que as regras também se apliquem aos seus IPs internos do docker.
Já faz um tempo, mas posso investigar mais detalhes se você ainda precisar disso, no final desta semana.
E sim, os túneis do Cloudflare são incríveis! @itsbhanusharma