플러그인 작업 잘하셨습니다. 아직 헤더가 사라진 어떤 기존 주제인지 찾아야 하는 분들을 위해, 외부에서도 확인할 수 있습니다 — rails도, 데이터베이스도 필요 없습니다:
curl -s https://EXAMPLE.COM/sitemap_1.xml \
| grep -o 'https://[^<]*/t/[^<]*' \
| while read -r u; do
curl -sI "$u" | grep -qi 'x-robots-tag: *noindex' || echo "$u"
done > missing-noindex.txt
sitemap.xml은 일반적으로 하위 사이트맵을 가리키는 인덱스이므로, 먼저 하위 사이트맵을 확장한 뒤 각각에 대해 이 명령을 실행하세요. 사이트가 레이트 리미팅을 적용하고 있다면 sleep을 추가하세요.
나중에 이 내용을 찾는 분들을 위해 구분할 가치가 있는 한 가지: 헤더와 캐노니컬은 두 개의 독립적인 신호이며, 각각 독립적으로 실패할 수 있습니다 — 주제가 X-Robots-Tag를 잃어버리고도 올바른 캐노니컬을 유지하거나, 그 반대의 경우도 가능합니다. 둘 다 확인하세요:
curl -sI URL | grep -i x-robots
curl -s URL | grep -i 'rel="canonical"'