请澄清一下，是否无法解除对 Semrushbot 和 SEO Spider 的屏蔽？我们需要它们进行 SEO 审计。已尝试在 /admin/customize/robots 中移除这两者（也尝试过添加 Allow: 指令），但在 Screaming Frog 中仍收到 429 错误。这个 429 错误是否是一个独立的问题？非常感谢您的见解。
trying2survive
(John)
10
相关话题
| 话题 | 回复 | 浏览量 | 活动 | |
|---|---|---|---|---|
| Handling Bingbot | 28 | 7764 | 2020 年11 月 20 日 | |
| MegaIndex bot did about 4,000 pageviews on one day | 40 | 5064 | 2023 年12 月 2 日 | |
| Issues Google Search Console is throwing at me for wrong discourse structure (or some for wrong administration of my site) | 18 | 404 | 2024 年12 月 18 日 | |
| Why there are lots of Disallow rule in robots.txt? | 34 | 4964 | 2020 年12 月 22 日 | |
| How to protect myself from bots crawling my Discourse instance? | 4 | 1719 | 2019 年1 月 21 日 |