Ajouter à robots.txt certains chemins CloudFlare pour éviter que les robots d'exploration n'inspectent incorrectement

Tout d’abord, je tiens à expliquer que certains sites font confiance à CloudFlare plutôt qu’à Discourse pour ajouter une couche de sécurité supplémentaire. Cette couche fournit certaines fonctionnalités comme l’obfuscation d’e-mails et les défis Anti-Bots, qui utilisent un chemin virtuel tel que :

Dans la documentation de CloudFlare, il est recommandé de refuser ce chemin virtuel /cdn-cgi/ pour éviter que les robots d’exploration, les moteurs de recherche, n’inspectent ce chemin.

L’objectif principal de ce sujet est que je souhaite contribuer au développement de Discourse, en ajoutant une nouvelle PR, mais je dois d’abord demander si c’est une fonctionnalité appropriée sur Discourse.

Merci pour tout.

Les accélérations de Cloudflare cassent souvent Discourse. Je ne pense qu’aucune de ces choses n’ait d’importance.