Indexación de perfiles de usuario

Soporte
1

Hola a todos, feliz año nuevo :))

Por lo que sé, los usuarios no están hechos para ser indexados en Google ni en ningún resultado de búsqueda. Sin embargo, he eliminado /u de admin/customize/robots, ¿es eso suficiente o hay más cambios que hacer? Además, si alguien tiene curiosidad, lo que estoy intentando hacer es que me encantaría que el perfil de los usuarios de mi comunidad fuera indexado en los motores de búsqueda.

2

Tengo la misma pregunta

3

Descubrí la opción como en la foto

image
image2198×764 66.2 KB

luego modifiqué el robots.txt

# Bloquear rastreadores agresivos de terceros

User-agent: mauibot
Disallow: /

User-agent: semrushbot
Disallow: /

User-agent: ahrefsbot
Disallow: /

User-agent: blexbot
Disallow: /

User-agent: seo spider
Disallow: /

# Reglas generales para todos los rastreadores

User-agent: *
Disallow: /admin/
Disallow: /auth/
Disallow: /email/
Disallow: /session
Disallow: /user-api-key
Disallow: /badges
Disallow: /my
Disallow: /search
Disallow: /g

# Bloquear páginas de bajo valor

Disallow: /u/          # perfiles de usuario
Disallow: /tag/        # índices de etiquetas
Disallow: /*.json      # respuestas de la API JSON

# Bloquear feeds (no útiles para indexación)

Disallow: /t/*/*.rss
Disallow: /c/*.rss

# Permitir Googlebot (mismas reglas que arriba)

User-agent: Googlebot
Disallow: /admin/
Disallow: /auth/
Disallow: /email/
Disallow: /session
Disallow: /user-api-key
Disallow: /badges
Disallow: /my
Disallow: /search
Disallow: /g
Disallow: /u/
Disallow: /tag/
Disallow: /*.json
Disallow: /t/*/*.rss
Disallow: /c/*.rss

# Apuntar al sitemap

Sitemap: https://site.com/sitemap.xml