Continuamos analisando problemas após essa alteração e decidimos revertê-la conforme:
O objetivo por trás disso era limitar o orçamento de rastreamento que o Google gasta escaneando links de tópicos não canônicos.
Desde que essa alteração foi aplicada, lançamos 2 correções que tornaram a alteração desnecessária.
-
Os feeds RSS de tópicos não são mais seguidos, os links nos feeds RSS não são seguidos. Ex:
https://meta.discourse.org/t/search-engines-now-blocked-from-indexing-non-canonical-pages/218985.rss -
Os feeds RSS de posts agora contêm links canônicos. Ex:
https://meta.discourse.org/posts.rss
Combinadas, essas duas alterações significam que os rastreadores não descobrem mais uma grande quantidade de links não canônicos em sites Discourse.
Isso libera o orçamento de pesquisa e torna a configuração do site não mais um requisito. Os operadores do site ainda são livres para experimentar com ela, no entanto, ela está desativada por padrão.