如果你的网站是公开的，且 SEO 对你有价值，那么任何将你的数据添加到有用索引中的爬虫都是“必要的”。查看你的流量来源并与爬虫进行对比，是否存在相关性？
在这里，使用爬虫白名单可能是更好的解决方案，对吧？