Come gestiscono qui i cattivi spider auto-ospitati?

Cloudflare è sempre stata gentile con me e non ho mai dovuto pagare per i servizi anti-bot. Questo e le loro novità come l’anti-IA sono fantastiche e ciò che mi tiene un cliente e un loro sostenitore, immagino. Non vuoi che gli scraper IA rubino i tuoi dati? Basta usare una delle loro regole gestite (tenendo conto che è interamente possibile usare solo il normale robots.txt come faccio io sul mio sito)

.. rispetto a uno gestito generico, molto meglio..

Se queste startup ascoltino e rispettino effettivamente il file o meno è un’altra storia, ma sono contenti che almeno ci provino. Nessuno dei miei siti ha avuto problemi con i bot in passato e sono ancora ripetutamente soddisfatto della possibilità di bloccare direttamente lì i comuni exploit di WordPress dopo aver letto i miei log.

1 Mi Piace