Problema de indexación de Google (robots.txt)

Google me informó sobre este problema en mi foro. ¿Alguna sugerencia para solucionarlo?

Además, Discourse no tiene un mapa del sitio. Encontré un plugin para mapas del sitio, pero mi pregunta al respecto es: ¿el mapa del sitio se actualiza constantemente o necesito reiniciar el plugin con frecuencia para “actualizar” el mapa del sitio?

Foro de referencia

¿Cuántas páginas / URLs se ven afectadas por este problema?

7

:outbox_tray:

:downwards_button:

10 de abril de 2020

https://voskcointalk.com/u/greer

10 de abril de 2020

10 de abril de 2020

10 de abril de 2020

10 de abril de 2020

9 de abril de 2020

9 de abril de 2020

Sí, las páginas /u/ están excluidas en el archivo robots.txt de forma predeterminada. ¿Crees que estás perdiendo algo al no indexar los perfiles de usuario?

Si la respuesta es sí, puedes sobrescribir tu archivo robots.txt en

https://voskcointalk.com/admin/customize/robots

¿Hay alguna razón por la que estén excluidos por defecto? ¿Qué pasa si alguien quisiera buscar fácilmente a un usuario específico en un foro a través de Google, por ejemplo?

Greer voskcointalk: si su perfil no está siendo indexado, eso no sería posible, a menos que Google simplemente enlace a un hilo suyo y luego el usuario tenga que navegar directamente a él.

No hay contenido en la vista del rastreador para las páginas de perfil, excepto la biografía, y los spammers adoran poner basura en su biografía. Es mejor en todos los sentidos bloquear el rastreo para evitar que la basura se asocie con el sitio.

Además, Discourse no tiene un mapa del sitio. Encontré un plugin para mapas del sitio, pero mi pregunta al respecto es: ¿el mapa del sitio se actualiza constantemente o necesitaría reiniciar el plugin con frecuencia para “actualizar” el mapa del sitio?

¿Estás familiarizado con esta información? Gracias por la respuesta anterior.

Se actualiza automáticamente.

Evitar bloqueo por WAF: (http.request.uri.path eq "/basic-info.json" and http.request.uri.path eq "/posts(/[0-9]+)?") Ignorar todo.