확인 차원에서 여쭤봅니다. semrushbot과 SEO 스파이더를 차단 해제할 방법이 전혀 없나요? SEO 감사에 이 봇들이 필요합니다. /admin/customize/robots에서 두 봇을 모두 제거해 보았고(Allow:도 시도해 보았지만) Screaming Frog에서 429 오류가 발생합니다. 아니면 이 429 오류는 별개의 문제일까요? 조언을 부탁드립니다.
trying2survive
(John)
10
Related topics
| 글 | 댓글 | 조회수 | 활동 | |
|---|---|---|---|---|
| Handling Bingbot | 28 | 7764 | 11월 20, 2020 | |
| MegaIndex bot did about 4,000 pageviews on one day | 40 | 5064 | 12월 2, 2023 | |
| Issues Google Search Console is throwing at me for wrong discourse structure (or some for wrong administration of my site) | 18 | 404 | 12월 18, 2024 | |
| Why there are lots of Disallow rule in robots.txt? | 34 | 4964 | 12월 22, 2020 | |
| How to protect myself from bots crawling my Discourse instance? | 4 | 1719 | 1월 21, 2019 |