Olá. Vi a discussão em:
mas não encontrei uma resposta clara para essa pergunta. Como posso habilitar um arquivo robots.txt para um site Discourse para indicar que ele não deve ser indexado por nenhum rastreador? Isso se refere a um site privado e não há motivo para que ele tenha qualquer presença em mecanismos de busca. Obrigado!
Veja a segunda a última resposta nesse tópico: Needing to edit robots.txt file - where is it? - #42 by Osama.
Ah, perdi aquele ali embaixo. Perfeito. Funcionou como um encanto. Obrigado!
Além disso, certifique-se de que a configuração ‘login obrigatório’ esteja ativada, executando novamente o assistente em discourse.yoursite.com/wizard. Isso também impedirá o acesso de mecanismos de busca.
O site sempre exigiu login e não permite o auto-cadastro de usuários. No entanto, ele ainda aparecia nos mecanismos de busca — apenas sem conteúdo indexado, já que não conseguia fazer login. Minha esperança é que, com o bloqueio explícito via robots.txt, qualquer menção cesse. Obrigado.