Usamos SSO com um site WordPress, então como podemos ter crawlers? O número é pequeno, mas são informações sensíveis, então mesmo um pequeno número de crawlers é motivo de preocupação. Nossa divisão típica de visualizações de página consolidadas por dia é:
Usuários logados: 5000
Usuários anônimos: 20 (Acessar a página de login aciona isso, então isso não é motivo de preocupação)
Crawlers: 5 (Como?)
Li Smarter handling of random crawler traffic e compreendo vagamente que a detecção de crawlers não é perfeita. Devo me preocupar?
Parece inconcebível que algum usuário legítimo logado esteja executando um scraper.
