Poiché tutti i post pubblicati da WordPress ora hanno l’intestazione x-robots-tag “noindex”, è anche importante rimuovere gli URL da sitemap.xml.
Quando un URL è contrassegnato con un tag noindex, Google lo esegue una scansione meno frequentemente, per risparmiare budget di scansione. Gli URL inclusi in sitemaps.xml sono presumibilmente importanti e, quindi, hanno la priorità per le scansioni. Quindi il messaggio trasmesso al crawler è confuso.
Internet è troppo grande e Google cerca sempre di dare priorità per risparmiare risorse. Alcuni SEO credono persino che ciò possa portare a una diluizione del PR.