插件做得不错。对于仍需要找出哪些现有主题丢失了标头的用户,可以从外部进行检查——无需 Rails,无需数据库:
curl -s https://EXAMPLE.COM/sitemap_1.xml \
| grep -o 'https://[^<]*/t/[^<]*' \
| while read -r u; do
curl -sI "$u" | grep -qi 'x-robots-tag: *noindex' || echo "$u"
done > missing-noindex.txt
sitemap.xml 通常是一个指向子站点地图的索引,因此请先展开它们,然后针对每个子站点地图运行此命令。如果你的网站有限速,请添加 sleep。
有一点值得为后来者单独说明:标头和规范链接是两个独立的信号,它们会独立失效——一个主题可能会丢失 X-Robots-Tag 但保留正确的规范链接,或者反之。请同时检查两者:
curl -sI URL | grep -i x-robots
curl -s URL | grep -i 'rel="canonical"'