Crawler-mania - cosa è successo?

Come immergersi e vedere cosa è successo?

Puoi trovare informazioni dettagliate su quali bot stanno scansionando il tuo sito nel rapporto sui crawler web disponibile in /admin/reports/web_crawlers.

Una volta controllato lì, puoi bloccare crawler specifici dal tuo sito aggiungendoli all’impostazione del sito blocked crawler user agents. Questa impostazione richiede una parola insensibile al maiuscolo/minuscolo presente nella stringa dell’user agent. Ad esempio, per bloccare l’user agent rogerbot, aggiungi rogerbot all’impostazione.

4 Mi Piace

Grazie

La maggior parte delle visite proveniva da un tipo di archivio web danese sotto la Biblioteca Reale Danese

Sembra abbastanza giusto :slight_smile:

https://en.statsbiblioteket.dk/national-library-division/netarchive

Non vogliamo bloccare quell’iniziativa…

3 Mi Piace

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.