Algumas informações adicionais sobre noindex da documentação do Google:
3 curtidas
Este comando não parece funcionar. Atualizei um site Discourse menor hoje para testá-lo, executei o comando e ainda vejo os cabeçalhos noindex.
Editar: Não tenho certeza de como essa configuração funciona, mas não a vejo em SiteSettings, pelo menos do frontend (como administrador) no console do navegador:
var d = Discourse.SiteSettings;
document.body.innerHTML = `<pre>${JSON.stringify(d, null, 4)}</pre>`;
Parece que essa configuração é para robots.txt, não para noindex. Isso já não seria true na maioria dos sites Discourse?
2 curtidas
Ah, desculpe, o correto é SiteSetting.allow_indexing_non_canonical_urls. Corrigi no OP.
3 curtidas
Continuamos analisando problemas após essa alteração e decidimos revertê-la conforme:
O objetivo por trás disso era limitar o orçamento de rastreamento que o Google gasta escaneando links de tópicos não canônicos.
Desde que essa alteração foi aplicada, lançamos 2 correções que tornaram a alteração desnecessária.
-
Os feeds RSS de tópicos não são mais seguidos, os links nos feeds RSS não são seguidos. Ex:
https://meta.discourse.org/t/search-engines-now-blocked-from-indexing-non-canonical-pages/218985.rss -
Os feeds RSS de posts agora contêm links canônicos. Ex:
https://meta.discourse.org/posts.rss
Combinadas, essas duas alterações significam que os rastreadores não descobrem mais uma grande quantidade de links não canônicos em sites Discourse.
Isso libera o orçamento de pesquisa e torna a configuração do site não mais um requisito. Os operadores do site ainda são livres para experimentar com ela, no entanto, ela está desativada por padrão.
13 curtidas