Indicizzazione dei profili utente

Supporto
1

Ciao a tutti, buon anno :))

Per quanto ne so, gli utenti non sono indicizzati su Google o su altri motori di ricerca. Tuttavia, ho rimosso /u da admin/customize/robots, quindi è sufficiente o ci sono altre modifiche da fare? Inoltre, se qualcuno è curioso di sapere cosa sto cercando di fare, è che mi piacerebbe che i profili degli utenti della mia community fossero indicizzati sui motori di ricerca.

2

Ho la stessa domanda

3

Ho scoperto l’opzione come nella foto

image
image2198×764 66.2 KB

poi ho modificato il robots.txt

# Blocca crawler aggressivi di terze parti

User-agent: mauibot
Disallow: /

User-agent: semrushbot
Disallow: /

User-agent: ahrefsbot
Disallow: /

User-agent: blexbot
Disallow: /

User-agent: seo spider
Disallow: /

# Regole generali per tutti i crawler

User-agent: *
Disallow: /admin/
Disallow: /auth/
Disallow: /email/
Disallow: /session
Disallow: /user-api-key
Disallow: /badges
Disallow: /my
Disallow: /search
Disallow: /g

# Blocca pagine di basso valore

Disallow: /u/          # profili utente
Disallow: /tag/        # indici di tag
Disallow: /*.json      # risposte API JSON

# Blocca feed (non utili per l'indicizzazione)

Disallow: /t/*/*.rss
Disallow: /c/*.rss

# Consenti Googlebot (stesse regole di cui sopra)

User-agent: Googlebot
Disallow: /admin/
Disallow: /auth/
Disallow: /email/
Disallow: /session
Disallow: /user-api-key
Disallow: /badges
Disallow: /my
Disallow: /search
Disallow: /g
Disallow: /u/
Disallow: /tag/
Disallow: /*.json
Disallow: /t/*/*.rss
Disallow: /c/*.rss

# Punta alla sitemap

Sitemap: https://site.com/sitemap.xml