Es gibt ein paar Crawler auf unserer Website. Besteht die Gefahr, dass sie Zugriff auf die Inhalte haben? Was ist eine « akzeptable Crawler-Auslastung/Risiko », bevor ich Blockierungsverfahren einleiten müsste, von denen ich wenig bis gar keine Ahnung habe?

Was können Crawler sehen?

HAWK (Hawk) 4. Februar 2024 um 02:41 6

1 „Gefällt mir“

Thema		Antworten	Aufrufe
How to protect myself from bots crawling my Discourse instance? Support	6	1613	17. Januar 2022
Controlling Web Crawlers For a Site Site Management how-to	10	2462	19. Juli 2025
Smarter handling of random crawler traffic Feature	2	3537	29. März 2018
MegaIndex bot did about 4,000 pageviews on one day Community Building	40	4549	2. Dezember 2023
How to allow user-agent access to private discourse? Support	10	2053	25. November 2018