WordPress 埋め込みで公開された古いトピックに x-robots: noindex および canonical タグが欠落している

プラグインの作業、素晴らしいですね。まだ どの 既存のトピックがヘッダーを失ったかを探している方のために、外部から確認できます — Rails もデータベースも不要です:

curl -s https://EXAMPLE.COM/sitemap_1.xml \

| grep -o 'https://[^<]*/t/[^<]*' \

| while read -r u; do

curl -sI "$u" | grep -qi 'x-robots-tag: *noindex' || echo "$u"

done > missing-noindex.txt

sitemap.xml は通常、子サイトマップを指すインデックスなので、まずそれらを展開し、それぞれの子に対してこれを実行してください。サイトがレート制限を設けている場合は、sleep を追加してください。

後でこれを見つける方のために、分離して説明すべき点があります:ヘッダーとcanonicalは2つの独立したシグナルであり、それぞれ独立して失敗します — トピックは X-Robots-Tag を失いながら正しいcanonicalを保持している場合や、その逆の場合もあります。両方を確認してください:

curl -sI URL | grep -i x-robots

curl -s URL | grep -i 'rel="canonical"'