Google no indexa el foro Discourse: sitemap no aprobado

Hola a todos,

Estoy ejecutando un foro de Discourse (forum.evteam.pl) y tengo problemas para que mis páginas sean indexadas por Google. Aunque algunas páginas han sido indexadas, la mayoría permanece sin indexar a pesar de enviar un sitemap.

Esta es la situación actual:

  • Solo 8 páginas indexadas de más de 180.
  • El número de páginas indexadas aumentó brevemente pero luego volvió a disminuir.
  • Google Search Console muestra 172 páginas como no indexadas.
  • El sitemap no ha sido aprobado en mucho tiempo.
  • El rendimiento de búsqueda es muy bajo, con apenas clics de Google.

He comprobado lo siguiente:
:white_check_mark: Robots.txt – No hay restricciones obvias.
:white_check_mark: Sitemap.xml – Enviado, pero aún no aprobado.
:white_check_mark: Etiquetas Noindex – No presentes en páginas clave.
:white_check_mark: Google Search Console – No hay penalizaciones manuales ni problemas de seguridad.

¿Alguien ha experimentado problemas similares con foros de Discourse? ¿Podría deberse a las políticas de indexación de Google, o hay algo que podría estar pasando por alto? ¿Algún consejo sobre cómo resolver esto?

¡Gracias de antemano!

¿Puedes comprobar

  1. \\u003cyoursite\u003e/admin/reports/web_crawlers para ver si Googlebot está en la lista?
  2. la configuración del sitio allowed_crawler_user_agents para asegurarte de que no estás bloqueando a Google por accidente (compártela aquí si es posible)

Discourse SEO overview (sitemap / robots.txt ) puede ser un tema útil para ti.

1 me gusta

¡Gracias por tus sugerencias!

  1. Revisé /admin/reports/web_crawlers, y Googlebot está en la lista, por lo que está rastreando el foro.
  2. La lista de allowed_crawler_user_agents estaba vacía, así que agregué:
Googlebot  
bingbot  
DuckDuckBot  

También volví a enviar el sitemap en Google Search Console y monitorearé si la indexación mejora en los próximos días.

Eso podría ser una mala idea, a menos que estés totalmente seguro de que todos los demás bots pueden ser desautorizados. Google utiliza muchos rastreadores que no declaran la cadena googlebot.

2 Me gusta

¡Gracias por señalar eso! No estaba al tanto de que Google utiliza otros rastreadores que no declaran explícitamente Googlebot.

Voy a limpiar la lista de allowed_crawler_user_agents para evitar bloquear accidentalmente cualquier cosa.