Adicionar ao robots.txt alguns caminhos do CloudFlare para evitar que os crawlers inspecionem incorretamente

Primeiro, quero explicar que alguns sites confiam no CloudFlare em vez do Discourse para adicionar uma camada extra de segurança. Essa camada fornece alguns recursos como Ofuscação de E-mail e desafios Anti-Bots, que usam um caminho virtual como:

Na documentação do CloudFlare documentações, recomenda-se desautorizar esse caminho virtual /cdn-cgi/ para evitar que rastreadores e mecanismos de busca inspecionem esse caminho.

O principal objetivo deste tópico é que quero contribuir para o desenvolvimento do Discourse, adicionando um novo PR, mas primeiro devo perguntar se este é um recurso adequado no Discourse.

Obrigado por tudo.

As otimizações de velocidade da Cloudflare frequentemente quebram o Discourse. Não acho que nenhuma dessas coisas importe.