robots.txt에 CloudFlare 경로를 추가하여 크롤러가 잘못 검사하지 않도록 방지

먼저, 일부 사이트는 CloudFlare를 Discourse보다 우선하여 사용하여 추가적인 보안 계층을 제공합니다. 이 계층은 이메일 오버퍼케이션(Email Obfuscation)과 봇 차단(Anti-Bots) 챌린지와 같은 기능을 제공하며, 다음과 같은 가상 경로를 사용합니다.

CloudFlare 문서에서는 크롤러나 검색 엔진이 해당 경로를 검사하는 것을 방지하기 위해 /cdn-cgi/ 가상 경로를 차단(disallow)하도록 권장하고 있습니다.

이 주제의 주요 목적은 Discourse 개발에 기여하여 새로운 PR을 추가하고 싶다는 것입니다. 하지만 먼저 이것이 Discourse에서 적절한 기능인지 여부에 대해 질문해야 합니다.

모두 감사합니다

Cloudflare의 속도 최적화는 Discourse를 자주 깨뜨립니다. 그런 것들은 아무도 신경 쓰지 않는다고 생각합니다.