Só para esclarecer: não há nenhuma maneira de desbloquear o semrushbot e o SEO Spider? Precisamos deles para a auditoria de SEO. Tentei remover ambos de /admin/customize/robots (também tentei Allow: ), mas recebemos um erro 429 no Screaming Frog. Ou esse erro 429 é um problema separado? Suas opiniões são muito apreciadas.
trying2survive
(John)
10
Tópicos relacionados
| Tópico | Respostas | Visualizações | Atividade | |
|---|---|---|---|---|
| Handling Bingbot | 28 | 7762 | 20 de Novembro de 2020 | |
| MegaIndex bot did about 4,000 pageviews on one day | 40 | 5064 | 2 de Dezembro de 2023 | |
| Issues Google Search Console is throwing at me for wrong discourse structure (or some for wrong administration of my site) | 18 | 403 | 18 de Dezembro de 2024 | |
| Why there are lots of Disallow rule in robots.txt? | 34 | 4961 | 22 de Dezembro de 2020 | |
| How to protect myself from bots crawling my Discourse instance? | 4 | 1719 | 21 de Janeiro de 2019 |