Gute Arbeit am Plugin. Für alle, die noch herausfinden müssen, welche bestehenden Themen den Header verloren haben, ist das von außen überprüfbar – kein Rails, keine Datenbank:
curl -s https://EXAMPLE.COM/sitemap_1.xml \
| grep -o 'https://[^<]*/t/[^<]*' \
| while read -r u; do
curl -sI "$u" | grep -qi 'x-robots-tag: *noindex' || echo "$u"
done > missing-noindex.txt
sitemap.xml ist in der Regel ein Index, der auf Kind-Sitemaps verweist, also diese zuerst auflisten und das Skript für jede Kind-Sitemap ausführen. Füge ein sleep hinzu, falls deine Website Rate-Limits durchsetzt.
Ein Punkt, der für alle, die dies später finden, separat erwähnt werden sollte: Der Header und das Canonical-Tag sind zwei unabhängige Signale und können unabhängig voneinander fehlschlagen – ein Thema kann den X-Robots-Tag verlieren und trotzdem ein korrektes Canonical-Tag behalten, oder umgekehrt. Prüfe beide:
curl -sI URL | grep -i x-robots
curl -s URL | grep -i 'rel="canonical"'