Sì, certo, ho dimenticato di precisare che sto gestendo questa pulizia crawler per crawler, con un’analisi quasi settimanale per individuare quale sta invadendo di più il sito web, e lo blocco uno alla volta.
Ciò che mi preoccupa è che aggiungere così tanti bot alla blacklist possa in qualche modo influenzare le prestazioni del sito.
Quindi ho pensato che forse, invece di bloccarli uno per uno, la soluzione migliore potrebbe essere aggiungere i bot essenziali alla whitelist e bloccare tutti gli altri. Ma… esistono davvero tracker essenziali?
Ho cercato nel forum per vedere se c’era un dibattito “dedicato” ai crawler essenziali, ma non l’ho trovato. Se conosci un argomento correlato, fammelo sapere.