これを復活させます。
-
必要に応じて robots.txt ファイルを自由に編集できるようになりました。
-
インデックスに登録すべきでないページには、常に
x-robots-tagの noindex を付与しています。 -
robots.txt で厳格な指示を出さない場合、一部のクローラーがサイト上で暴れまわる（go to town）ことがわかりました。すべてのクローラーが Google ではないのです。現在、私たちは非常に標準的な robots.txt ファイルを使用していますが、それにはコストがかかります。（すべてのクローラーが Google のように振る舞うことを期待していますが、Google のようになるには多大な努力が必要です）
少なくとも Google ボット以外のすべてのクローラーに対して、デフォルトで「非常に制限の厳しい」robots.txt を復活させるべきだと考えます。