How to block all crawlers but Google's

[codinghorror (Jeff Atwood)]

これはサイト設定から可能になりました。「crawler」で検索し、特にblocked crawler user agentsを確認してください。特定のクローラーのみを許可し、他をすべて厳格に拒否したい場合は、allowed crawler user agentsも利用できます。