念のため確認ですが、semrushbot と seo spider のブロックを解除する方法は全くないのでしょうか？SEO オーディットのためにこれらが必要です。/admin/customize/robots から両方を削除しようとした（Allow: も試しました）ところ、Screaming Frog で 429 エラーが発生しました。この 429 エラーは別の問題でしょうか？ご教示いただけますと幸いです。
trying2survive
(John)
10
関連トピック
| トピック | 返信 | 表示 | アクティビティ | |
|---|---|---|---|---|
| Handling Bingbot | 28 | 7764 | 2020 年 11 月 20 日 | |
| MegaIndex bot did about 4,000 pageviews on one day | 40 | 5064 | 2023 年 12 月 2 日 | |
| Issues Google Search Console is throwing at me for wrong discourse structure (or some for wrong administration of my site) | 18 | 404 | 2024 年 12 月 18 日 | |
| Why there are lots of Disallow rule in robots.txt? | 34 | 4964 | 2020 年 12 月 22 日 | |
| How to protect myself from bots crawling my Discourse instance? | 4 | 1719 | 2019 年 1 月 21 日 |