Profils utilisateur / Répertoire utilisateur dans robots.txt / en-tête x-robots-tag

ÉDITER ceci s’avère être un bug, voir le message n°3

Si « Masquer les profils utilisateur du public » est coché, /u ne devrait-il pas être interdit dans robots.txt ?
Sinon, les moteurs de recherche obtiendront un 403, ce qui pourrait affecter le classement et la visibilité.

Ceci aurait été implémenté en 2014 Excluding user profiles in robots.txt (or allow edit of file) - #2 by neil Disallow /users/ in robots.txt · discourse/discourse@8267a45 · GitHub

Le seul forum Discourse que j’ai pu trouver qui a Disallow: /u est Meta :thinking:

Peut-être que Meta a été personnalisé, de sorte que la migration dans FIX: Remove /u/ from robots by nattsw · Pull Request #30782 · discourse/discourse · GitHub a été ignorée

Bonne trouvaille @Moin

Actuellement, nous ajoutons déjà noindex aux routes /u. Cependant, comme robots.txt bloque cela, les moteurs de recherche ne peuvent pas voir l’en-tête.

Nous sommes alors renvoyés à un changement précédent FIX: Always noindex /u routes by nattsw · Pull Request #27712 · discourse/discourse · GitHub

qui dit

Deuxièmement, SiteSetting.hide_user_profiles_from_public déclenche une Forbidden, ce qui empêche notre after_action: add no index header de se déclencher.

Ce PR garantit que l’en-tête no index est ajouté via before_action à la place. Nous pourrions envisager de supprimer /u de

discourse/app/controllers/robots_txt_controller.rb

Ligne 24 dans 2900cbe

DISALLOWED_WITH_HEADER_PATHS = %w[/badges /u/ /my /search /tag//l /g /t//.rss /c/.rss]

Malheureusement, cela ne fonctionne pas toujours. Alors que /u/rgj a bien un en-tête x-robots-tag: noindex, /u/rgj/summary n’en a pas, il semble donc que le changement le plus récent ait des effets secondaires indésirables.

(Déplacement vers Bug)

1 « J'aime »