Googlebot 未抓取“robots.txt”中的通用规则

[sam (Sam Saffron)]

我已将此移至 Support，感谢您在此处撰写的精彩的错误报告。

我们花费了大量时间来精心调整我们的规则以满足 Google 的要求，x-robots-tag noindex 的支持程度不一，但它是行业标准。仅仅禁止抓取的问题在于，由于某些原因，在特定条件下，页面可能会被 Google 索引，然后由于禁止抓取而无法轻松将其删除，这有点像先有鸡还是先有蛋的问题。