Если вы не настраивали свой файл robots.txt, вам ничего делать не нужно… директива disallow уже выполняет основную работу.
По умолчанию Discourse использует в файле robots.txt как disallow, так и noindex.
В сообщении в блоге об этом обновлении Google рекомендует использовать disallow, что мы уже делаем. Мы также используем noindex, чтобы помочь избежать проблемы со ссылками, упомянутой Google (я выделил жирным соответствующий фрагмент)…
Disallow в robots.txt: Поисковые системы могут индексировать только те страницы, о которых они знают, поэтому блокировка доступа к странице для сканирования обычно означает, что её содержимое не будет проиндексировано. Хотя поисковая система может также индексировать URL-адрес на основе ссылок с других страниц, не видя самого содержимого, мы стремимся сделать такие страницы менее заметными в будущем.
С нашей стороны мы планируем внести обновление, чтобы добавить мета-тег noindex или использовать заголовок X-Robots-Tag в наших HTTP-ответах, чтобы гарантировать, что Google не будет индексировать ссылку, когда она появляется на других страницах (мы обновим эту тему, если внесём какие-либо изменения).
Если вы добавили пользовательские правила noindex в файл robots.txt через страницу администрирования /admin/customize/robots, вам следует изменить их на disallow.