Nur zur Klarstellung: Gibt es wirklich keine Möglichkeit, semrushbot und SEO Spider wieder freizuschalten? Wir benötigen sie für SEO-Audits. Wir haben versucht, beide aus /admin/customize/robots zu entfernen (auch mit Allow:), aber in Screaming Frog erhalten wir weiterhin einen 429-Fehler. Oder ist dieser 429-Fehler ein separates Problem? Ihre Einschätzung wäre uns sehr hilfreich.
trying2survive
(John)
10
Verwandte Themen
| Thema | Antworten | Aufrufe | Aktivität | |
|---|---|---|---|---|
| Handling Bingbot | 28 | 7764 | 20. November 2020 | |
| MegaIndex bot did about 4,000 pageviews on one day | 40 | 5066 | 2. Dezember 2023 | |
| Issues Google Search Console is throwing at me for wrong discourse structure (or some for wrong administration of my site) | 18 | 404 | 18. Dezember 2024 | |
| Why there are lots of Disallow rule in robots.txt? | 34 | 4964 | 22. Dezember 2020 | |
| How to protect myself from bots crawling my Discourse instance? | 4 | 1719 | 21. Januar 2019 |