Más información sobre noindex en la documentación de Google:
3 Me gusta
Este comando no parece funcionar. Actualicé un sitio de Discourse más pequeño hoy para probarlo, ejecuté el comando y todavía veo las cabeceras noindex.
Edición: No estoy seguro de cómo funciona esa configuración, pero no la veo en SiteSettings, al menos desde el frontend (como administrador) en la consola del navegador:
var d = Discourse.SiteSettings;
document.body.innerHTML = `\u003cpre\u003e${JSON.stringify(d, null, 4)}\u003c/pre\u003e`;
Parece que esa configuración es para robots.txt, no para noindex. ¿No sería eso ya true en la mayoría de los sitios de Discourse?
2 Me gusta
Oh lo siento, el correcto es SiteSetting.allow_indexing_non_canonical_urls. Lo arreglé en el OP.
3 Me gusta
Continuamos analizando los problemas posteriores a este cambio y decidimos revertirlo según:
El objetivo detrás de esto era limitar el presupuesto de rastreo que Google gastaba escaneando enlaces de temas no canónicos.
Dado que se aplicó este cambio, implementamos 2 correcciones que hicieron que el cambio fuera innecesario.
-
Los feeds RSS de temas ya no se siguen, los enlaces en los feeds RSS no se siguen. Por ejemplo:
https://meta.discourse.org/t/search-engines-now-blocked-from-indexing-non-canonical-pages/218985.rss -
Los feeds RSS de publicaciones ahora contienen enlaces canónicos. Por ejemplo:
https://meta.discourse.org/posts.rss
Combinados, estos dos cambios significan que los rastreadores ya no descubren una gran cantidad de enlaces no canónicos en los sitios de Discourse.
Esto libera presupuesto de búsqueda y hace que la configuración del sitio ya no sea un requisito. Los operadores del sitio aún son libres de experimentar con ella, sin embargo, está deshabilitada por defecto.
13 Me gusta