Les règles génériques dans "robots.txt" ne sont pas prises en compte par Googlebot

J’ai déplacé ceci dans Support, merci pour votre rapport de bug délicieusement écrit ici.

Cela nous a pris beaucoup de temps pour affiner nos règles afin de satisfaire Google, la balise x-robots-tag noindex est prise en charge de manière inégale mais c’est une norme de l’industrie. Le problème avec le simple blocage de l’exploration était que, pour une raison quelconque, dans certaines conditions, les pages pouvaient se retrouver dans l’index de Google et il n’y avait alors aucun moyen facile de les supprimer car l’exploration était bloquée, un peu un problème d’œuf et de poule.