Google no indexa el foro Discourse: sitemap no aprobado

Hola a todos,

Estoy ejecutando un foro de Discourse (forum.evteam.pl) y tengo problemas para que mis páginas sean indexadas por Google. Aunque algunas páginas han sido indexadas, la mayoría permanece sin indexar a pesar de enviar un sitemap.

Esta es la situación actual:

  • Solo 8 páginas indexadas de más de 180.
  • El número de páginas indexadas aumentó brevemente pero luego volvió a disminuir.
  • Google Search Console muestra 172 páginas como no indexadas.
  • El sitemap no ha sido aprobado en mucho tiempo.
  • El rendimiento de búsqueda es muy bajo, con apenas clics de Google.

He comprobado lo siguiente:
:white_check_mark: Robots.txt – No hay restricciones obvias.
:white_check_mark: Sitemap.xml – Enviado, pero aún no aprobado.
:white_check_mark: Etiquetas Noindex – No presentes en páginas clave.
:white_check_mark: Google Search Console – No hay penalizaciones manuales ni problemas de seguridad.

¿Alguien ha experimentado problemas similares con foros de Discourse? ¿Podría deberse a las políticas de indexación de Google, o hay algo que podría estar pasando por alto? ¿Algún consejo sobre cómo resolver esto?

¡Gracias de antemano!

¿Puedes comprobar

  1. \\u003cyoursite\u003e/admin/reports/web_crawlers para ver si Googlebot está en la lista?
  2. la configuración del sitio allowed_crawler_user_agents para asegurarte de que no estás bloqueando a Google por accidente (compártela aquí si es posible)

Discourse SEO overview (sitemap / robots.txt ) puede ser un tema útil para ti.

¡Gracias por tus sugerencias!

  1. Revisé /admin/reports/web_crawlers, y Googlebot está en la lista, por lo que está rastreando el foro.
  2. La lista de allowed_crawler_user_agents estaba vacía, así que agregué:
Googlebot  
bingbot  
DuckDuckBot  

También volví a enviar el sitemap en Google Search Console y monitorearé si la indexación mejora en los próximos días.

Eso podría ser una mala idea, a menos que estés totalmente seguro de que todos los demás bots pueden ser desautorizados. Google utiliza muchos rastreadores que no declaran la cadena googlebot.

¡Gracias por señalar eso! No estaba al tanto de que Google utiliza otros rastreadores que no declaran explícitamente Googlebot.

Voy a limpiar la lista de allowed_crawler_user_agents para evitar bloquear accidentalmente cualquier cosa.