Como noindexar todas as páginas para mantê-las fora dos índices do Google

Eu vi:

mas não está claro qual foi o resultado dessa discussão. Uma diretiva noindex no robots.txt não é mais eficaz — o Google agora a ignora. Para evitar que um site privado apareça nos resultados de pesquisa, o comando Disallow não é suficiente. O que é necessário é a meta tag noindex em cada página afetada. No nosso caso, isso se aplica à página de login e a qualquer página de erro acessível externamente (ou, aliás, uma meta tag noindex para todas as páginas seria perfeitamente adequada).

Como isso pode ser feito? Obrigado.

O “resultado” ou desfecho dessa discussão parece ser muito claro:

  • foi adicionada uma nova funcionalidade para incluir noindex em páginas que não deveriam ser rastreadas
  • essa nova funcionalidade precisou ser removida/revertida porque o Google não a suportava e, em seguida, relatava o robots.txt como inválido.

Sim, o Google parou de dar suporte ao noindex no robots.txt. Mas a recomendação deles agora parece ser colocar uma meta tag noindex em todas as páginas que você deseja eliminar completamente do índice deles. É isso que estou tentando fazer.

Você não pode simplesmente criar um componente de tema que adicione a meta tag noindex a todas as páginas?

Basta adicionar

<meta name="noindex">

em /admin/ personalizar/ temas/ comum/ head_tag

Certo?

Desculpe, eu deveria ter sido mais explícito ao dizer que a primeira parte do post do tópico deve ser removida.

Provavelmente é melhor você consultar o anúncio do Google, pois ele contém um link para a opção de HTML da página que pfaffman sugeriu acima:
Bloquear indexação de busca com ‘noindex’

Não fiz muito trabalho com temas, então isso é exatamente o que eu precisava saber. Obrigado! E está aparecendo corretamente no head (adicionado ao “head_tag”). Para registro, a tag recomendada pelo Google, se você quiser pedir a todos os robôs que não indexem, é:

<meta name="robots" content="noindex">

Agora desativei (bem, na verdade comentei) o robots.txt completamente pelos motivos mencionados anteriormente neste tópico. Obrigado novamente.

Fico feliz em ter ajudado! Ainda não sou muito bom com temas e não sei nada sobre SEO, então não sabia como a meta tag precisava ser exatamente. Feliz por ter te dado uma pista suficiente para você resolver o problema.