Ottimo lavoro sul plugin. Per chiunque debba ancora individuare quali argomenti esistenti hanno perso l’intestazione, è possibile verificarlo dall’esterno — senza Rails, senza database:
curl -s https://EXAMPLE.COM/sitemap_1.xml \
| grep -o 'https://[^<]*/t/[^<]*' \
| while read -r u; do
curl -sI "$u" | grep -qi 'x-robots-tag: *noindex' || echo "$u"
done > missing-noindex.txt
sitemap.xml è solitamente un indice che punta a sitemap secondarie, quindi espandi prima quelle ed esegui questo comando per ciascuna. Aggiungi un sleep se il tuo sito applica limiti di frequenza.
Un aspetto da tenere separato per chi troverà questa guida in futuro: l’intestazione e il tag canonico sono due segnali indipendenti e possono fallire in modo indipendente — un argomento può perdere l’X-Robots-Tag mantenendo un canonico corretto, o viceversa. Controlla entrambi:
curl -sI URL | grep -i x-robots
curl -s URL | grep -i 'rel="canonical"'