Добавьте в robots.txt путь CloudFlare, чтобы избежать некорректного сканирования ботами

Сначала я хочу объяснить, что некоторые сайты доверяют Cloudflare больше, чем Discourse, чтобы добавить дополнительный уровень безопасности. Этот уровень предоставляет такие функции, как маскировка электронной почты и проверка на ботов, которые используют виртуальный путь, например:

В документации Cloudflare рекомендуется запретить виртуальный путь /cdn-cgi/, чтобы избежать того, чтобы краулеры и поисковые системы проверяли этот путь.

Основная цель этой темы — я хочу внести вклад в разработку Discourse, добавив новый PR, но сначала я должен спросить, является ли это корректной функцией для Discourse.

Спасибо всем.

Ускорения от Cloudflare часто ломают Discourse. Не думаю, что эти вещи имеют значение.