Il y a quelques robots d’exploration sur notre site. Y a-t-il un risque qu’ils aient accès au contenu ? Quelle est une « charge/un risque acceptable pour un robot d’exploration » avant que je ne doive entreprendre des procédures de blocage pour lesquelles j’ai peu, voire pas du tout, d’expertise ?

Que peuvent voir les robots d'exploration ?

HAWK (Hawk) Février 4, 2024, 2:41 6

1 « J'aime »

Sujet		Réponses	Vues
How to protect myself from bots crawling my Discourse instance? Support	6	1606	Janvier 17, 2022
Controlling Web Crawlers For a Site Site Management how-to	10	2387	Juillet 19, 2025
Smarter handling of random crawler traffic Feature	2	3505	Mars 29, 2018
MegaIndex bot did about 4,000 pageviews on one day Community	40	4522	Décembre 2, 2023
How to allow user-agent access to private discourse? Support	10	2021	Novembre 25, 2018