5 Mi Piace
Sarebbe solo giusto.
Dato che Clouldflare sembra aver implementato alcune di queste restrizioni sui crawler, pubblico quanto accade sul sito SWI-Prolog come riferimento.
Stesso report, ma più tardi nello stesso giorno.
Elenco dei crawler e conteggio delle visualizzazioni di pagina in formato CSV per il forum SWI-Prolog il 03 luglio 2025 Nota: la giornata non è ancora finita, quindi potrebbero essere visualizzate più pagine, il che aumenterebbe i conteggi. Questo mostra quali crawler sono attivi e quanto stanno scaricando.
web-crawlers-250703-213320.csv (4,4 KB)
1 Mi Piace