Aggiungi a robots.txt alcuni percorsi CloudFlare per evitare che i crawler ispezionino in modo errato

Innanzitutto, voglio spiegare che alcuni siti si affidano a CloudFlare anziché a Discourse per aggiungere un ulteriore livello di sicurezza. Questo livello fornisce alcune funzionalità come l’offuscamento delle email e le sfide anti-bot, che utilizzano un percorso virtuale come:

Nella documentazione di CloudFlare, si consiglia di non consentire quel percorso virtuale /cdn-cgi/ per evitare che crawler e motori di ricerca ispezionino quel percorso.

Lo scopo principale di questo argomento è che voglio contribuire allo sviluppo di Discourse, aggiungendo una nuova PR, ma prima dovrei chiedere se questa è una funzionalità appropriata in Discourse.

Grazie di tutto.

Gli acceleratori di Cloudflare spesso interrompono Discourse. Non credo che nessuna di queste cose sia importante.