Como mergulhar e ver o que aconteceu lá?
Você pode encontrar informações detalhadas sobre quais bots estão rastreando seu site no relatório do rastreador web em /admin/reports/web_crawlers.
Depois de verificar lá, você pode bloquear rastreadores específicos do seu site adicionando-os à configuração do site blocked crawler user agents. Essa configuração aceita uma palavra que existe na string do user agent, sem distinção de maiúsculas e minúsculas. Por exemplo, para bloquear o user agent rogerbot, adicione rogerbot à configuração.
Obrigado
A maioria das visitas veio de um tipo de arquivo da web dinamarquês sob a Biblioteca Real Dinamarquesa
Parece bastante justo ![]()
https://en.statsbiblioteket.dk/national-library-division/netarchive
Não quero bloquear essa iniciativa…

