robots.txt は単なる礼儀正しい提案に過ぎません。それ自体で何かが停止するわけではありません。ただし、ユーザーエージェントがそのルールに従う場合、そのボットが極めて悪意のあるものではないことを示しています。
そのような操作は nginx レベルで行うべきでしょう ![]()
robots.txt は単なる礼儀正しい提案に過ぎません。それ自体で何かが停止するわけではありません。ただし、ユーザーエージェントがそのルールに従う場合、そのボットが極めて悪意のあるものではないことを示しています。
そのような操作は nginx レベルで行うべきでしょう ![]()