Si vous n’avez pas personnalisé votre fichier robots.txt, vous n’avez rien à faire… disallow fait déjà la majeure partie du travail.
Par défaut, Discourse utilise à la fois disallow et noindex dans le fichier robots.txt.
Dans cet article de blog sur cette mise à jour, Google recommande d’utiliser disallow, ce que nous faisons déjà. Nous utilisons noindex en complément pour aider à éviter ce problème de liens mentionné par Google (j’ai mis en évidence la partie pertinente)…
Disallow dans robots.txt : Les moteurs de recherche ne peuvent indexer que les pages qu’ils connaissent, donc bloquer l’accès à une page en empêchant son exploration signifie généralement que son contenu ne sera pas indexé. Bien que le moteur de recherche puisse également indexer une URL sur la base de liens provenant d’autres pages, sans voir le contenu lui-même, nous visons à rendre ces pages moins visibles à l’avenir.
De notre côté, nous envisageons une mise à jour pour ajouter la balise meta noindex ou utiliser l’en-tête X-Robots-Tag dans nos réponses HTTP afin de nous assurer que Google n’indexe pas le lien lorsqu’il apparaît sur d’autres pages (nous mettrons à jour ce sujet avec toute modification).
Si vous avez ajouté des règles personnalisées noindex dans robots.txt via votre page d’administration /admin/customize/robots, vous devriez les remplacer par disallow.