عمل رائع على الإضافة. بالنسبة لأي شخص لا يزال بحاجة إلى معرفة أي المواضيع الموجودة فقدت الترويسة، يمكن التحقق من ذلك من الخارج — بدون Rails، وبدون قاعدة بيانات:
curl -s https://EXAMPLE.COM/sitemap_1.xml \
| grep -o 'https://[^<]*/t/[^<]*' \
| while read -r u; do
curl -sI "$u" | grep -qi 'x-robots-tag: *noindex' || echo "$u"
done > missing-noindex.txt
عادةً ما يكون ملف sitemap.xml فهرساً يشير إلى خرائط المواقع الفرعية، لذا قم بتوسيعها أولاً وقم بتشغيل هذا لكل خريطة فرعية. أضف sleep إذا كان موقعك يفرض قيوداً على معدل الطلبات.
شيء واحد يستحق الفصل لأي شخص يعثر على هذا لاحقاً: الترويسة والروابط القانونية (canonical) إشارتان مستقلتان وتنفشلان بشكل مستقل — فقد تفقد الموضوع علامة X-Robots-Tag وتحتفظ بربط قانوني صحيح، أو العكس. تحقق من كلاهما:
curl -sI URL | grep -i x-robots
curl -s URL | grep -i 'rel="canonical"'