Pour clarifier, existe-t-il vraiment aucun moyen de débloquer Semrushbot et SEO Spider ? Nous en avons besoin pour l’audit SEO. Nous avons essayé de les supprimer tous les deux de /admin/customize/robots (nous avons également essayé Allow:), mais nous obtenons une erreur 429 dans Screaming Frog. Ou cette erreur 429 est-elle un problème distinct ? Vos éclaircissements sont grandement appréciés.
trying2survive
(John)
10
Sujets connexes
| Sujet | Réponses | Vues | Activité | |
|---|---|---|---|---|
| Handling Bingbot | 28 | 7762 | Novembre 20, 2020 | |
| MegaIndex bot did about 4,000 pageviews on one day | 40 | 5064 | Décembre 2, 2023 | |
| Issues Google Search Console is throwing at me for wrong discourse structure (or some for wrong administration of my site) | 18 | 403 | Décembre 18, 2024 | |
| Why there are lots of Disallow rule in robots.txt? | 34 | 4962 | Décembre 22, 2020 | |
| How to protect myself from bots crawling my Discourse instance? | 4 | 1719 | Janvier 21, 2019 |