Recherchez « crawler » dans les paramètres du site.
Utilisez les paramètres du site « agents utilisateur de crawlers bloqués » et « agents utilisateur de crawlers autorisés ».
codinghorror
(Jeff Atwood)
4
Sujets connexes
| Sujet | Réponses | Vues | Activité | |
|---|---|---|---|---|
| Private discourse and crawling, can it happen? | 4 | 543 | Mars 13, 2023 | |
| Can't login after removing all bot user agents from site setting | 5 | 979 | Novembre 24, 2017 | |
| MegaIndex bot did about 4,000 pageviews on one day | 40 | 5032 | Décembre 2, 2023 | |
| What can crawlers see? | 16 | 1000 | Février 5, 2024 | |
| Seeing anonymous user and crawler traffic, even though site is private | 3 | 1015 | Septembre 9, 2021 |