Buen trabajo con el plugin. Para quien aún necesite encontrar cuáles temas existentes han perdido el encabezado, esto se puede verificar desde fuera: sin Rails, sin base de datos:
curl -s https://EXAMPLE.COM/sitemap_1.xml \
| grep -o 'https://[^<]*/t/[^<]*' \
| while read -r u; do
curl -sI "$u" | grep -qi 'x-robots-tag: *noindex' || echo "$u"
done > missing-noindex.txt
sitemap.xml suele ser un índice que apunta a subíndices, así que expándelos primero y ejecuta esto por cada uno. Añade un sleep si tu sitio tiene límites de tasa.
Una cosa que vale la pena separar para quien encuentre esto más adelante: el encabezado y el canonical son dos señales independientes y pueden fallar por separado; un tema puede perder el X-Robots-Tag y mantener un canonical correcto, o al revés. Comprueba ambos:
curl -sI URL | grep -i x-robots
curl -s URL | grep -i 'rel="canonical"'