Старые темы, опубликованные через WordPress Embed, лишены тегов x-robots: noindex и canonical

Отличная работа над плагином. Для тех, кто всё ещё пытается найти, какие именно существующие темы потеряли заголовок, это можно проверить извне — без Rails и без базы данных:

curl -s https://EXAMPLE.COM/sitemap_1.xml \

| grep -o 'https://[^<]*/t/[^<]*' \

| while read -r u; do

curl -sI "$u" | grep -qi 'x-robots-tag: *noindex' || echo "$u"

done > missing-noindex.txt

sitemap.xml обычно является индексом, указывающим на дочерние карты сайта, поэтому сначала разверните их и запустите этот скрипт для каждой дочерней карты. Добавьте sleep, если ваш сайт ограничивает частоту запросов.

Один момент, который стоит выделить отдельно для тех, кто найдёт это позже: заголовок и каноническая ссылка — это два независимых сигнала, и они могут перестать работать независимо друг от друга — тема может потерять X-Robots-Tag, но сохранить правильную каноническую ссылку, или наоборот. Проверяйте оба:

curl -sI URL | grep -i x-robots

curl -s URL | grep -i 'rel="canonical"'