TL;DR: Não bloqueie páginas não canônicas - apenas aponte-as para uma URL correta via \u003clink rel=\"canonical\" … \u003e - é para isso que ela serve.
Este recurso pode prejudicar a construção de links de SEO a longo prazo:
Todos os deep-links para respostas dentro de tópicos estão em páginas noindex agora! O Google gosta disso?
Na verdade, uma tag canonical sempre apontando para a URL do tópico - mesmo para páginas de deep-linking em uma resposta - deve fazer o trabalho perfeitamente - sem adicionar X-Robots-Tag: noindex:
Na primeira rastreagem de uma página de resposta de deep-linking, o Google reconhece que a URL da página (resposta dentro do tópico) não corresponde à URL canônica e, em seguida, decide rastrear apenas a URL canônica (tópico).
Podemos adicionar Edição: não, veja Search engines now blocked from indexing non-canonical pages - #9 by j127\u003ca rel=\"nofollow\" …\u003e a todos os links que fazem esse deep-linking de tópico-resposta?
Com isso, podemos economizar ainda mais desse precioso e limitado orçamento de rastreamento dos mecanismos de busca:
o mecanismo de busca nem extrairia o link em primeiro lugar nem faria uma chamada para a URL. Como chamar a URL resulta em uma resposta com um cabeçalho http X-Robots-Tag: noindex causando a ‘descartar’ da resposta adicionando a URL à lista interna de ‘noindex’ dos mecanismos de busca.
Mais algumas economias no orçamento de rastreamento com nofollow adicionado às URLs do feed RSS: