Füge robots.txt einige CloudFlare-Pfade hinzu, um zu vermeiden, dass Crawler falsch inspizieren

Zuerst möchte ich erklären, dass einige Websites CloudFlare anstelle von Discourse nutzen, um eine zusätzliche Sicherheitsebene hinzuzufügen. Diese Ebene bietet einige Funktionen wie E-Mail-Verschleierung und Anti-Bot-Herausforderungen, die einen virtuellen Pfad verwenden, wie zum Beispiel:

  • JavaScript-Erkennung, die von Cloudflare Bot-Produkten verwendet wird (example.com/cdn-cgi/challenge-platform/)
  • Webanalyse für eine über Cloudflare weitergeleitete Website (example.com/cdn-cgi/rum)
  • Bildgrößenänderung in den neuen URLs, die Sie für Bilder verwenden würden (example.com/cdn-cgi/image/)
  • E-Mail-Adressen-Verschleierung zum Schutz von E-Mail-Adressen vor bösartigen Bots (example.com/cdn-cgi/l/email-protection)

In der Dokumentation von CloudFlare wird empfohlen, diesen virtuellen Pfad /cdn-cgi/ nicht zuzulassen, um zu verhindern, dass Crawler und Suchmaschinen diesen Pfad inspizieren.

Der Hauptzweck dieses Themas ist, dass ich zur Entwicklung von Discourse beitragen möchte, indem ich einen neuen PR hinzufüge, aber zuerst möchte ich fragen, ob dies eine ordnungsgemäße Funktion in Discourse ist.

Vielen Dank für alles.

Cloudflares Geschwindigkeitsoptimierungen bringen Discourse oft durcheinander. Ich glaube nicht, dass eines dieser Dinge wichtig ist.