Añadir a robots.txt alguna ruta de CloudFlare para evitar que los rastreadores inspeccionen incorrectamente

Primero, quiero explicar que algunos sitios confían en CloudFlare sobre Discourse para agregar una capa adicional de seguridad. Esta capa proporciona algunas funciones como la ofuscación de correos electrónicos y los desafíos Anti-Bots, que utilizan una ruta virtual como:

En la documentación de CloudFlare, se recomienda no permitir esa ruta virtual /cdn-cgi/ para evitar que los rastreadores y motores de búsqueda inspeccionen esa ruta.

El propósito principal de este tema es que quiero contribuir al desarrollo de Discourse, agregando una nueva PR, pero primero debo preguntar si esta es una característica adecuada en Discourse.

Gracias por todo.

Las optimizaciones de velocidad de Cloudflare a menudo rompen Discourse. No creo que ninguna de esas cosas importe.