Solo per chiarire: non c’è alcun modo per sbloccare semrushbot e seo spider? Ne abbiamo bisogno per l’audit SEO. Abbiamo provato a rimuoverli entrambi da /admin/customize/robots (abbiamo anche provato con Allow:), ma otteniamo un errore 429 in Screaming Frog. Oppure questo errore 429 è un problema separato? Apprezziamo molto i vostri chiarimenti.
trying2survive
(John)
10
Argomenti correlati
| Argomento | Risposte | Visualizzazioni | Attività | |
|---|---|---|---|---|
| Handling Bingbot | 28 | 7763 | Novembre 20, 2020 | |
| MegaIndex bot did about 4,000 pageviews on one day | 40 | 5064 | Dicembre 2, 2023 | |
| Issues Google Search Console is throwing at me for wrong discourse structure (or some for wrong administration of my site) | 18 | 403 | Dicembre 18, 2024 | |
| Why there are lots of Disallow rule in robots.txt? | 34 | 4964 | Dicembre 22, 2020 | |
| How to protect myself from bots crawling my Discourse instance? | 4 | 1719 | Gennaio 21, 2019 |