Indexation des profils utilisateur

Salut tout le monde, bonne année :))

D’après ce que je sais, les utilisateurs ne sont pas censés être indexés sur Google ou dans les résultats de recherche. Cependant, j’ai supprimé /u de admin/customize/robots, est-ce suffisant ou y a-t-il d’autres changements à faire ? De plus, si quelqu’un est curieux de savoir ce que j’essaie de faire, c’est que j’aimerais que le profil des utilisateurs de ma communauté soit indexé par les moteurs de recherche.

J’ai la même question

J’ai découvert l’option comme sur la photo

puis j’ai modifié le robots.txt

# Bloquer les robots tiers agressifs

User-agent: mauibot
Disallow: /

User-agent: semrushbot
Disallow: /

User-agent: ahrefsbot
Disallow: /

User-agent: blexbot
Disallow: /

User-agent: seo spider
Disallow: /

# Règles générales pour tous les robots

User-agent: *
Disallow: /admin/
Disallow: /auth/
Disallow: /email/
Disallow: /session
Disallow: /user-api-key
Disallow: /badges
Disallow: /my
Disallow: /search
Disallow: /g

# Bloquer les pages de faible valeur

Disallow: /u/          # profils utilisateurs
Disallow: /tag/        # index de tags
Disallow: /*.json      # réponses de l'API JSON

# Bloquer les flux (pas utiles pour l'indexation)

Disallow: /t/*/*.rss
Disallow: /c/*.rss

# Autoriser Googlebot (mêmes règles que ci-dessus)

User-agent: Googlebot
Disallow: /admin/
Disallow: /auth/
Disallow: /email/
Disallow: /session
Disallow: /user-api-key
Disallow: /badges
Disallow: /my
Disallow: /search
Disallow: /g
Disallow: /u/
Disallow: /tag/
Disallow: /*.json
Disallow: /t/*/*.rss
Disallow: /c/*.rss

# Pointer vers le sitemap

Sitemap: https://site.com/sitemap.xml