Além de manualmente, é possível configurar o robots.txt para bloquear todos os tópicos de fórum conectados ao WP-Discouse?
(para que a postagem do fórum não seja indexada)
Uma opção simples de alternância que pode bloquear todos os tópicos de fórum conectados de serem rastreados? Ou mesmo uma configuração de alternância por postagem ao publicar ou editar uma postagem do WP que está vinculada a um tópico de fórum wp-discourse?
Por que você quer fazer isso? Tenho certeza de que a postagem do fórum inclui um ponteiro para a versão canônica em seu site WP.
Uma queda no ranking/reputação dos artigos do WP (originais) desde a adição. Eu não estava procurando iniciar um debate ou reclamar, apenas perguntando como conseguir isso. Tenho certeza de que existem muitas outras razões pelas quais outros podem querer esse nível de controle sobre o que é indexado.
Apenas sugerindo - talvez você devesse redefinir seus objetivos porque você está indo na direção errada.
Mas com um proxy reverso, essa é uma tarefa bastante trivial.
Nem todos os rastreadores da web respeitam o arquivo robots.txt.
Olá @haydenjames,
Não há nada que você possa fazer no plugin WP Discourse para adicionar posts que ele cria no Discourse a um arquivo robots.txt. Esta é, na verdade, apenas uma questão pura do Discourse, a saber: “Posso automaticamente noindexar tópicos incorporados?” (ou algo parecido). Um tópico incorporado do WordPress é funcionalmente o mesmo que qualquer outro tópico incorporado. A via de investigação que você deseja seguir está lá, por exemplo, a origem da configuração do site embed set canonical url e discussões relacionadas.
Eu não acho (mas ficarei feliz em ser corrigido) que o que você quer fazer é um recurso atual do Discourse. O Discourse atualmente adiciona um cabeçalho X-Robots-Tag: noindex a requisições GET para tópicos ocultos. Você poderia fazer o mesmo para tópicos incorporados através de um plugin.
Título na direção errada para bloquear a indexação de um tópico de fórum com o artigo duplicado que prefiro que os usuários da pesquisa do Google encontrem através do blog WP? Eu estou bem com isso. O principal benefício do Wp-discourse para mim tem sido permitir discussões de postagens de blog sem ter que usar soluções como Disqus ou os comentários padrão muito limitados do WP. Eu não preciso de nenhum benefício de SEO dos fóruns, a menos que sejam outros tópicos exclusivos que não estão conectados a conteúdo já existente.
Não há duplicatas, a menos que você tenha alterado algo.
Por causa de:
E:
Obrigado @angus
Para esclarecer, se eu tornar a categoria que armazena a postagem conectada ao WP-discourse oculta (oculto é diferente de privado?), então ela ocultará a postagem dos fóruns/público/rastreadores, mas os comentários inseridos no final de cada postagem do Wordpress com comentários ainda estarão visíveis?
Desculpe pelas perguntas de iniciante, não tenho experiência com o Discourse e quero ter certeza de que não estou interpretando mal sua resposta.
…depende da sua definição de duplicata. O Canônico está em vigor, mas para mim, pessoalmente, como tanto a postagem do blog quanto o tópico do fórum contêm o mesmo texto exato (duplicado). Eu gostaria apenas de bloquear essas threads completamente. Essa é apenas minha preferência. Talvez no futuro, a razão por trás deste tópico faça mais sentido. Mas, por enquanto, honestamente não estou tentando provocar um debate ou algo assim. Acho que o bloqueio é uma solução mais absoluta para mim.
É como ir ao seu mecânico e pedir para ele “trocar o óleo duas vezes”. Entendo o “porquê” inicial de @angus - mas, no final, é apenas sobre se isso pode ser feito de alguma forma ou não é possível.
Editar: Pensando bem, eu poderia então apenas adicionar a categoria do fórum de postagens do blog ao robots.txt, correto? Ou isso será substituído? (Vou pesquisar nos fóruns como o robots.txt do Discourse funciona/pode ser editado.
Então, algo como:
forum.domain.com/c/blog-articles/xx/*
Um tópico “oculto” é aquele que não está listado nas listas de tópicos, ou seja, não é “descoberto” da maneira normal. Você pode identificar um tópico oculto pelo símbolo de olho com um traço.
Na verdade, há uma maneira de tornar automaticamente as postagens do plugin WP Discourse “ocultas” 
Você pode usar a configuração “Publicar como Tópicos Não Listados”.
Tenha em mente tanto o que eu disse acima quanto o que está escrito ao lado dessa configuração. Isso significará que os tópicos publicados do Discourse para o WordPress não aparecerão nas listas de tópicos do seu fórum. Os comentários funcionarão normalmente. Se você tiver o webhook de sincronização de dados de comentários ativado, o tópico não ficará mais oculto após o primeiro comentário. Esse recurso não foi exatamente projetado para essa finalidade. Veja mais em
Se você quiser apenas adicionar um cabeçalho X-Robots-Tag: noindex a um tópico incorporado (sem se preocupar com esse negócio de oculto), você precisará solicitar isso como um novo recurso do próprio Discourse ou adicioná-lo por meio de um plugin.
Isso é legal. Obrigado por esclarecer e compartilhar a configuração do WP Discourse.
Pergunta: Se eu editar manualmente meu arquivo robots.txt do Discourse. A alteração permanecerá persistente?
Ainda estou pesquisando nos fóruns para essa resposta. Inserirei quaisquer links que encontrar que respondam a isso.
Se você o fizer via /admin/customize/robots, ele persistirá.
Ele é armazenado em uma configuração oculta do site chamada overridden_robots_txt. Se essa configuração for preenchida, ela sempre será servida como seu arquivo robots.txt.
@haydenjames A última coisa que observaria é que parece ter havido um problema com a URL canônica de tópicos incorporados recentemente. Algo a ter em mente se você acabou de notar este problema recentemente.
Obrigado. Ahh, não é tão simples, porque a URL de cada thread está sem a categoria em dita URL. Então teria que adicioná-las manualmente / uma por uma.
Entendido. obrigado. É em parte por isso que eu gostaria da abordagem de “nuke” de simplesmente bloquear todas as postagens incorporadas do WP-Discourse via robots.txt. Essas coisas podem acontecer. É compreensível.
Minha definição, ou a sua, é sem sentido. Apenas a definição do Google é importante. E então não há duplicatas.
Há também uma chance de o Google valorizar seu fórum mais do que o WordPress. Então a solução não é tentar bloquear a indexação, mas corrigir essa origem.
Mesmo que a tag rel=canonical possa ajudar a evitar uma penalidade por conteúdo duplicado ao republicar posts, você ainda pode ser penalizado se usar a tag incorretamente. Encontrarei uma solução. Vou reativar este tópico em uma data posterior.
