Continuando a discussão de SEO para conteúdo fino ou modificar meta tags:
Estou enfrentando o mesmo problema aqui.
Estou usando o WP-Discourse e é ótimo! Mas, para cada nova postagem no blog, ele cria um tópico com exatamente o mesmo título na minha comunidade. Duas URLs com o mesmo título não é uma boa ideia, pois isso rouba relevância uma da outra nos resultados de busca.
Além disso, os comentários do tópico também são exibidos abaixo das postagens do blog, o que gera conteúdo duplicado (mesmo conteúdo em várias URLs).
Ambos são grandes problemas de SEO que podem levar à penalização do domínio.
Como corrigir isso?
A solução seria uma simples caixa de seleção na caixa de configuração da categoria:
[ ] Ocultar tópicos desta categoria nos resultados de busca.
Quando a caixa de seleção for marcada, uma tag noindex seria inserida no cabeçalho de todas as páginas relacionadas a ela: a própria categoria, tópicos, paginação, etc.
<meta name=“robots” content=“noindex, dofollow”>
Dessa forma, tudo permanece disponível para os usuários, mas é ignorado pelos mecanismos de busca.
Coisas que não resolvem o problema
Deixe-me adiantar alguns passos e abordar algumas respostas comuns. Vi alguns tópicos sobre essa questão, e todos tinham sugestões que não resolvem realmente o problema.
Robots.txt
A solução mais comum apresentada é adicionar um “disallow: /c/category/id” no arquivo robots.txt. No entanto, isso removeria apenas a própria categoria dos resultados de busca e não os tópicos, que é o principal problema aqui.
A estrutura de URL dos tópicos é sempre a mesma, então não podemos bloqueá-los simplesmente adicionando uma linha de “disavow” no robots.txt.
Exemplo:
Tópicos não listados
Um tópico não listado ainda é visível para os mecanismos de busca. Ele ficará oculto nas listagens da comunidade, mas ainda é possível acessar o tópico se tiver o link direto. E precisamos enviar os usuários aos tópicos, então adicionamos um link para eles na postagem do blog. Assim, os mecanismos de busca também encontrarão todos os tópicos não listados.
Observe que usar nofollow nesse link não fará o Googlebot ignorá-lo: Official Google Webmaster Central Blog: Evolving “nofollow” – new ways to identify the nature of links
Ao mesmo tempo, não listar o tópico leva à redução do engajamento dos usuários, pois eles não poderão navegar de um tópico para outro dentro da comunidade.
Portanto, essa ideia não resolve nada. Ela leva à redução do engajamento, sem ocultar os tópicos dos mecanismos de busca de forma alguma.
Exigir login para ver os tópicos daquela categoria
Quando um novo usuário clica no botão de comentário, ele verá uma mensagem “Esta página não existe” em vez do tópico. O usuário pensa que algo está quebrado e sai do site. Sem comentários e sem novas inscrições de usuários. Muito ruim para o engajamento e a usabilidade.
Em conclusão, seria muito útil ter essa opção adicionada ao Discourse, ou se alguém pudesse desenvolver um plugin simples.
Precisa ser adicionado ao núcleo, caso contrário o Googlebot ignorará o JavaScript.
Os especialistas em SEO agradeceriam muito!