Report Dashboard - User Agents dei Web Crawler

[SaraDev (Sara Devlaeminck)]

Questo è una versione SQL del Report della Dashboard per User Agent di Web Crawler.

Questo Report della Dashboard elenca i principali user agent di web crawler, ordinati per pageview, fornendo informazioni su quali crawler sono più attivi su un sito.

--[params]
-- date :start_date = 2024-01-06
-- date :end_date = 2024-02-07

SELECT
  user_agent,
  SUM(count) AS pageviews
FROM web_crawler_requests
WHERE date BETWEEN :start_date AND :end_date
GROUP BY user_agent
ORDER BY pageviews DESC

Spiegazione della Query SQL

• Parametri: La query accetta due parametri, :start_date e :end_date, che definiscono l’intervallo di tempo per il report. Entrambi i parametri di data accettano il formato AAAA-MM-GG.
• SELECT: La query recupera i dati dalla tabella web_crawler_requests, che registra le richieste effettuate dai web crawler al forum. Ogni record in questa tabella include lo user_agent del crawler e un count di pageview.
• SUM: La funzione SUM(count) calcola il numero totale di pageview per ciascun user_agent nell’intervallo di date specificato.
• Filtraggio: La clausola WHERE filtra i record per includere solo quelli che rientrano nell’intervallo di date specificato, utilizzando la colonna date.
• Aggregazione: La clausola GROUP BY raggruppa i risultati per user_agent, assicurando che i dati siano riassunti per ciascun web crawler individualmente.
• Ordinamento: La clausola ORDER BY ordina i risultati in ordine decrescente di pageviews, posizionando i web crawler più attivi in cima al report.

I record dalla tabella web_crawler_requests vengono automaticamente eliminati dopo 30 giorni. I risultati per questo report sono disponibili solo per gli ultimi 30 giorni da quando viene eseguito il report, tuttavia, è ancora possibile utilizzare i parametri di data per questa query per filtrare i risultati negli ultimi 30 giorni.

Risultati di esempio

user_agent	pageviews
Mozilla/5.0 (compatible; SeekportBot; +https://bot.seekport.com)	1406
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)	724
Mozilla/5.0 (compatible; DataForSeoBot/1.0; +https://dataforseo.com/dataforseo-bot)	533
…	…

[ToddZ]

Ho un piccolo elemento nella mia lista dei desideri. Alcune stringhe user agent sono così lunghe che non è possibile vederle interamente senza il mouseover. E non posso copiare un URL di informazioni sul crawler da un mouseover:

Sarebbe bello se il report potesse analizzare un URL incluso e presentare un link o un pulsante: