Bom trabalho no plugin. Para quem ainda precisa descobrir quais tópicos existentes perderam o cabeçalho, é possível verificar de fora — sem Rails, sem banco de dados:
curl -s https://EXAMPLE.COM/sitemap_1.xml \
| grep -o 'https://[^<]*/t/[^<]*' \
| while read -r u; do
curl -sI "$u" | grep -qi 'x-robots-tag: *noindex' || echo "$u"
done > missing-noindex.txt
O sitemap.xml geralmente é um índice que aponta para sitemaps filhos, então expanda-os primeiro e execute isso para cada filho. Adicione um sleep se seu site tiver limite de taxa.
Uma coisa que vale a pena separar para quem encontrar isso mais tarde: o cabeçalho e o canônico são dois sinais independentes e falham independentemente — um tópico pode perder o X-Robots-Tag e manter um canônico correto, ou o contrário. Verifique ambos:
curl -sI URL | grep -i x-robots
curl -s URL | grep -i 'rel="canonical"'