Se você não personalizou seu arquivo robots.txt, não precisará fazer nada… disallow já está fazendo a maior parte do trabalho.
Por padrão, o Discourse usa tanto disallow quanto noindex no robots.txt.
No post do blog sobre essa atualização, o Google sugere usar disallow, o que já fazemos. Usamos noindex adicionalmente para ajudar a evitar esse problema de link mencionado pelo Google (adicionei ênfase à parte relevante)…
Disallow no robots.txt: Os mecanismos de busca só podem indexar páginas das quais têm conhecimento, então bloquear o acesso à página geralmente significa que seu conteúdo não será indexado. Embora o mecanismo de busca também possa indexar uma URL com base em links de outras páginas, sem ver o conteúdo em si, nosso objetivo é tornar essas páginas menos visíveis no futuro.
Do nosso lado, vamos avaliar uma atualização para adicionar a meta tag noindex ou usar o cabeçalho X-Robots-Tag em nossas respostas HTTP, para garantir que o Google não esteja indexando o link quando ele aparecer em outras páginas (atualizaremos este tópico com qualquer mudança).
Se você adicionou regras personalizadas de noindex ao robots.txt através da página de administração /admin/customize/robots, deve alterá-las para disallow.