Bon travail sur le plugin. Pour ceux qui doivent encore trouver quels sujets existants ont perdu l’en-tête, cela est vérifiable depuis l’extérieur — pas de Rails, pas de base de données :
curl -s https://EXAMPLE.COM/sitemap_1.xml \
| grep -o 'https://[^<]*/t/[^<]*' \
| while read -r u; do
curl -sI "$u" | grep -qi 'x-robots-tag: *noindex' || echo "$u"
done > missing-noindex.txt
sitemap.xml est généralement un index pointant vers des sitemaps enfants, donc développez-les d’abord et exécutez ceci pour chaque enfant. Ajoutez un sleep si votre site applique une limitation de débit.
Un point important à séparer pour quiconque trouvera cela plus tard : l’en-tête et le canonique sont deux signaux indépendants et ils échouent indépendamment — un sujet peut perdre l’en-tête X-Robots-Tag tout en conservant un canonique correct, ou l’inverse. Vérifiez les deux :
curl -sI URL | grep -i x-robots
curl -s URL | grep -i 'rel="canonical"'