Étant donné que tous les articles publiés depuis WordPress ont désormais l’en-tête x-robots-tag « noindex », il est également important de supprimer les URL du sitemap.xml.
Lorsqu’une URL est marquée avec une balise noindex, Google l’explore moins fréquemment, afin d’économiser le budget d’exploration. Les URL incluses dans sitemaps.xml sont supposées importantes et sont donc prioritaires pour l’exploration. Le message transmis au crawler est donc confus.
Internet est trop vaste et Google essaie toujours de prioriser afin d’économiser des ressources. Certains experts en SEO pensent même que cela peut entraîner une dilution du PR.