Relatório do Painel - Agentes de Usuário do Rastreador da Web

[SaraDev (Sara Devlaeminck)]

Este é um relatório de painel SQL para User Agents de Web Crawlers.

Este Relatório de Painel lista os principais user agents de web crawlers, ordenados por pageviews, fornecendo insights sobre quais crawlers estão mais ativos em um site.

--[params]
-- date :start_date = 2024-01-06
-- date :end_date = 2024-02-07

SELECT
  user_agent,
  SUM(count) AS pageviews
FROM web_crawler_requests
WHERE date BETWEEN :start_date AND :end_date
GROUP BY user_agent
ORDER BY pageviews DESC

Explicação da Consulta SQL

• Parâmetros: A consulta aceita dois parâmetros, :start_date e :end_date, que definem o intervalo de tempo para o relatório. Ambos os parâmetros de data aceitam o formato AAAA-MM-DD.
• SELECT: A consulta recupera dados da tabela web_crawler_requests, que registra as solicitações feitas por web crawlers ao fórum. Cada registro nesta tabela inclui o user_agent do crawler e uma count de pageviews.
• SUM: A função SUM(count) calcula o número total de pageviews para cada user_agent dentro do intervalo de datas especificado.
• Filtragem: A cláusula WHERE filtra os registros para incluir apenas aqueles que estão dentro do intervalo de datas especificado, usando a coluna date.
• Agregação: A cláusula GROUP BY agrupa os resultados por user_agent, garantindo que os dados sejam resumidos para cada web crawler individualmente.
• Ordenação: A cláusula ORDER BY ordena os resultados em ordem decrescente de pageviews, colocando os web crawlers mais ativos no topo do relatório.

Registros da tabela web_crawler_requests são automaticamente excluídos após 30 dias. Os resultados para este relatório só estarão disponíveis nos últimos 30 dias a partir de quando o relatório for executado, no entanto, você ainda pode usar os parâmetros de data para esta consulta para filtrar os resultados nos últimos 30 dias.

Resultados de Exemplo

user_agent	pageviews
Mozilla/5.0 (compatible; SeekportBot; +https://bot.seekport.com)	1406
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)	724
Mozilla/5.0 (compatible; DataForSeoBot/1.0; +https://dataforseo.com/dataforseo-bot)	533
…	…

[ToddZ]

Tenho um pequeno item na minha lista de desejos. Algumas strings de user agent são tão longas que você não consegue ver tudo sem passar o mouse por cima. E eu não consigo copiar uma URL de informações do crawler de um mouseover:

Seria interessante se o relatório pudesse analisar uma URL incluída e apresentar um link ou botão: