Profils utilisateur / Répertoire utilisateur dans robots.txt / en-tête x-robots-tag

ÉDITER ceci s’avère être un bug, voir le message n°3

Si « Masquer les profils utilisateur du public » est coché, /u ne devrait-il pas être interdit dans robots.txt ?
Sinon, les moteurs de recherche obtiendront un 403, ce qui pourrait affecter le classement et la visibilité.

Ceci aurait été implémenté en 2014 Excluding user profiles in robots.txt (or allow edit of file) - #2 by neil Disallow /users/ in robots.txt · discourse/discourse@8267a45 · GitHub

Le seul forum Discourse que j’ai pu trouver qui a Disallow: /u est Meta :thinking:

1 « J'aime »

Peut-être que Meta a été personnalisé, de sorte que la migration dans FIX: Remove /u/ from robots by nattsw · Pull Request #30782 · discourse/discourse · GitHub a été ignorée

Bonne trouvaille @Moin

Actuellement, nous ajoutons déjà noindex aux routes /u. Cependant, comme le fichier robots.txt bloque cet accès, les moteurs de recherche ne peuvent pas voir l’en-tête.

Nous sommes donc renvoyés à une modification précédente FIX: Always noindex /u routes - Pull Request #27712 - discourse/discourse - GitHub

qui indique

Deuxièmement, SiteSetting.hide_user_profiles_from_public lève une exception Forbidden, ce qui empêche notre after_action: add no index header de se déclencher.

Ce PR s’assure que l’en-tête noindex est ajouté via before_action à la place. Nous pourrions envisager de retirer /u de

discourse/app/controllers/robots_txt_controller.rb

Ligne 24 dans 2900cbe

DISALLOWED_WITH_HEADER_PATHS = %w[/badges /u/ /my /search /tag//l /g /t//.rss /c/.rss]

Malheureusement, cela ne fonctionne pas toujours. Bien que /u/rgj ait bien un en-tête x-robots-tag: noindex, /u/rgj/summary ne l’a pas, il semble donc que la modification la plus récente ait des effets secondaires indésirables.

(Déplacement vers Contribute > Bug)

1 « J'aime »