Ho spostato questo in Support, grazie per il tuo delizioso rapporto di bug qui.
Ci è voluto molto tempo per perfezionare le nostre regole per mantenere felice Google, x-robots-tag noindex è supportato in modo non uniforme ma è uno standard del settore. Il problema con il semplice divieto di crawling era che per qualche motivo, in determinate condizioni, le pagine potevano finire nell’indice di Google e poi non c’era un modo semplice per rimuoverle poiché il crawling era vietato, un po’ un problema dell’uovo che incontra la gallina.