Da alle von WordPress veröffentlichten Beiträge nun den Header „noindex“ für x-robots haben, ist es auch wichtig, die URLs aus der sitemap.xml zu entfernen.
Wenn eine URL mit einem Noindex-Tag markiert ist, crawlt Google sie weniger häufig, um das Crawl-Budget zu schonen. URLs, die in sitemaps.xml enthalten sind, sind angeblich wichtig und werden daher für Crawls priorisiert. Die Nachricht, die an den Crawler gesendet wird, ist also verwirrend.
Das Internet ist zu groß und Google versucht immer, Ressourcen zu schonen, indem es priorisiert. Einige SEOs glauben sogar, dass dies zu einer Verwässerung des PR führen kann.