Ich habe dies nach Support verschoben, vielen Dank für Ihre wunderbar geschriebene Fehlerbeschreibung hier.
Es hat uns so viel Zeit gekostet, unsere Regeln fein abzustimmen, um Google zufriedenzustellen. x-robots-tag noindex wird uneinheitlich unterstützt, ist aber ein Industriestandard. Das Problem bei der reinen Sperrung des Crawlings war, dass Seiten aus irgendeinem Grund unter bestimmten Bedingungen in den Google-Index gelangen konnten und es dann keine einfache Möglichkeit gab, sie zu entfernen, da das Crawling gesperrt war, ein Henne-und-Ei-Problem.