TL;DR: Не блокируйте неканонические страницы — просто укажите на правильный URL через <link rel="canonical" … >. Для этого он и создан.
Эта функция может нанести долгосрочный вред SEO-ссылочной массе:
Все глубокие ссылки на ответы внутри тем теперь находятся на страницах с noindex! Нравится ли это Google?
На самом деле тег canonical, всегда указывающий на URL темы — даже для страниц с глубокими ссылками на конкретный ответ — должен идеально справляться с задачей без добавления X-Robots-Tag: noindex:
При первом сканировании страницы с глубокой ссылкой на ответ Google распознаёт, что URL страницы (ответ внутри темы) не соответствует каноническому URL, и решает сканировать только канонический URL (тему).
Можем ли мы добавить Редакция: нет, см. Search engines now blocked from indexing non-canonical pages - #9 by j127<a rel="nofollow" …> ко всем ссылкам, ведущим на глубокие ссылки «тема-ответ»?
Таким образом, мы сможем сэкономить ещё больше драгоценного и ограниченного бюджета сканирования поисковых систем:
поисковая система не будет извлекать ссылку изначально и не будет делать запрос к URL. Поскольку запрос к URL приводит к ответу с HTTP-заголовком X-Robots-Tag: noindex, что заставляет ответ быть «отбракованным» путём добавления URL во внутренний список «noindex» поисковой системы.
Ещё больше экономии бюджета сканирования за счёт добавления nofollow к URL RSS-лент: