Ho avuto problemi a luglio con tonnellate di richieste da Singapore. Ho bloccato un intervallo di IP, che ha funzionato per un po’, ma il problema è tornato più forte ad agosto (da Singapore, Hong Kong e Messico) con costi CDN elevati e imprevisti ![]()
Ho notato un elevato numero di visualizzazioni di pagine da Amazonbot, DataForSeoBot, meta-externalagent, SeekportBot, ecc…
Questa documentazione Controlling Web Crawlers For a Site dice:
Questo elenco non contiene alcuni dei miei bot più visitati, ma ho comunque una domanda.
Sarebbe consigliabile aggiungere l’intero elenco all’impostazione Agenti utente crawler bloccati?
Esiste un modo per aggiungere in blocco i nomi dei bot da un file .txt?