Rapport Dashboard - Pageviews des Crawlers

Données et rapports
, ,
1

Ceci est une version SQL du rapport de tableau de bord pour les vues de pages des robots d’exploration Web.

Ce rapport de tableau de bord montre le nombre total de vues de pages qu’un site reçoit des robots d’exploration Web par jour, sur une période de dates spécifique. Comprendre le comportement des robots d’exploration Web peut aider les administrateurs de site à comprendre à quelle fréquence les robots des moteurs de recherche visitent et indexent leur site.

-- [params]
-- date :start_date = 2024-01-07
-- date :end_date = 2024-02-08

SELECT
    ar.date::date AS "date",
    SUM(CASE WHEN ar.req_type=6 THEN ar.count ELSE 0 END) AS "Crawler Views"
FROM application_requests ar
WHERE req_type IN (6)
    AND ar.date::date BETWEEN :start_date AND :end_date
GROUP BY date
ORDER BY date

Explication de la requête SQL

La requête opère sur la table application_requests, qui enregistre différents types de requêtes adressées à l’application Discourse, y compris celles effectuées par les robots d’exploration Web. Voici une explication étape par étape du fonctionnement de la requête :

  • Paramètres :
    • La requête accepte deux paramètres, :start_date et :end_date, qui définissent la période du rapport. Les deux paramètres de date acceptent le format AAAA-MM-JJ.
  • Sélection et Filtrage :
    • La requête sélectionne les enregistrements de la table application_requests où req_type est 6. La colonne req_type catégorise le type de requête, et une valeur de 6 identifie spécifiquement les requêtes effectuées par les robots d’exploration Web.
    • Elle filtre davantage ces enregistrements pour inclure uniquement ceux qui se situent dans la plage de dates spécifiée, en utilisant les paramètres :start_date et :end_date.
  • Agrégation :
    • La requête regroupe les résultats par la date de la requête (ar.date::date). Ce regroupement permet d’agréger les vues des robots d’exploration par jour.
    • Elle calcule ensuite la somme de ar.count pour chaque groupe, où ar.count représente le nombre de requêtes de robots d’exploration. Cette somme est étiquetée comme "Crawler Views" dans la sortie.
  • Tri : Enfin, les résultats sont triés par date dans l’ordre croissant. Ce tri facilite la visualisation des tendances d’activité des robots d’exploration sur la période spécifiée.

Résultats exemples

date Crawler Views
2024-01-07 3217
2024-01-08 2342
2024-01-09 3995
2024-01-10 3667
2024-01-11 3095
… …
1 « J'aime »