TL;DR: No bloquees páginas no canónicas; simplemente señálalas a una URL correcta mediante \u003clink rel=\"canonical\" … \u003e; para eso está hecha.
Esta función podría perjudicar la creación de enlaces SEO a largo plazo:
¡Todos los enlaces profundos a respuestas dentro de temas están ahora en páginas noindex! ¿Le gusta esto a Google?
En realidad, una etiqueta canonical que siempre apunte a la URL del tema, incluso para las páginas que enlazan profundamente a una respuesta, debería hacer el trabajo perfectamente, sin añadir X-Robots-Tag: noindex:
En la primera rastreo de una página de respuesta con enlace profundo, Google reconoce que la URL de la página (respuesta dentro del tema) no coincide con la URL canónica y luego decide rastrear solo la URL canónica (tema).
¿Podemos añadir Edición: no, ver Search engines now blocked from indexing non-canonical pages - #9 by j127\u003ca rel=\"nofollow\" …\u003e a todos los enlaces que realizan este enlace profundo de tema-respuesta?
De este modo, podríamos ahorrar aún más de este valioso y limitado presupuesto de rastreo de los motores de búsqueda:
el motor de búsqueda no extraerá el enlace en primer lugar ni realizará una llamada a la URL. Como llamar a la URL da como resultado una respuesta con una cabecera http X-Robots-Tag: noindex que hace que la respuesta sea “descartada” al añadir la URL a la lista interna de “noindex” de los motores de búsqueda.
Algunos ahorros más en el presupuesto de rastreo con nofollow añadido a las URL de los feeds RSS: