@awesomerobot 发布的这两种方法都可以尝试一下。第二种方法应该能帮你解决一些问题。(这让我想起要把爬虫用户代理添加到我的 blocked crawler user agents 列表里了。)
blocked crawler user agents