Continuamos analizando los problemas posteriores a este cambio y decidimos revertirlo según:
El objetivo detrás de esto era limitar el presupuesto de rastreo que Google gastaba escaneando enlaces de temas no canónicos.
Dado que se aplicó este cambio, implementamos 2 correcciones que hicieron que el cambio fuera innecesario.
-
Los feeds RSS de temas ya no se siguen, los enlaces en los feeds RSS no se siguen. Por ejemplo:
https://meta.discourse.org/t/search-engines-now-blocked-from-indexing-non-canonical-pages/218985.rss -
Los feeds RSS de publicaciones ahora contienen enlaces canónicos. Por ejemplo:
https://meta.discourse.org/posts.rss
Combinados, estos dos cambios significan que los rastreadores ya no descubren una gran cantidad de enlaces no canónicos en los sitios de Discourse.
Esto libera presupuesto de búsqueda y hace que la configuración del sitio ya no sea un requisito. Los operadores del sitio aún son libres de experimentar con ella, sin embargo, está deshabilitada por defecto.