How to block all crawlers but Google's

[codinghorror (Jeff Atwood)]

现在可以通过站点设置实现此功能，搜索“crawler”，具体为 blocked crawler user agents。如果您希望非常严格，仅允许特定的爬虫，还可以使用 allowed crawler user agents 来禁止其他所有爬虫。