Ci sono alcuni crawler sul nostro sito. C’è il rischio che abbiano accesso ai contenuti? Qual è un «carico/rischio accettabile del crawler» prima che debba intraprendere procedure di blocco con cui ho poca o nessuna competenza?

Cosa possono vedere i crawler?

HAWK (Hawk) 4 Febbraio 2024, 2:41am 6

1 Mi Piace

Argomento		Risposte	Visualizzazioni
How to protect myself from bots crawling my Discourse instance? Support	6	1605	Gennaio 17, 2022
Controlling Web Crawlers For a Site Site Management how-to	10	2377	Luglio 19, 2025
Smarter handling of random crawler traffic Feature	2	3499	Marzo 29, 2018
MegaIndex bot did about 4,000 pageviews on one day Community	40	4520	Dicembre 2, 2023
How to allow user-agent access to private discourse? Support	10	2017	Novembre 25, 2018