Dashboard-Bericht - Web-Crawler Pageviews

Daten & Berichterstattung
, ,
1

Dies ist eine SQL-Version des Dashboard-Berichts für Web-Crawler-Seitenaufrufe.

Dieser Dashboard-Bericht zeigt die gesamten Seitenaufrufe, die eine Website pro Tag von Web-Crawlern über einen bestimmten Zeitraum erhält. Das Verständnis des Web-Crawler-Verhaltens kann Website-Administratoren helfen zu verstehen, wie oft Suchmaschinen-Bots ihre Website besuchen und indizieren.

-- [params]
-- date :start_date = 2024-01-07
-- date :end_date = 2024-02-08

SELECT
    ar.date::date AS "date",
    SUM(CASE WHEN ar.req_type=6 THEN ar.count ELSE 0 END) AS "Crawler Views"
FROM application_requests ar
WHERE req_type IN (6)
    AND ar.date::date BETWEEN :start_date AND :end_date
GROUP BY date
ORDER BY date

Erklärung der SQL-Abfrage

Die Abfrage arbeitet mit der Tabelle application_requests, die verschiedene Arten von Anfragen an die Discourse-Anwendung protokolliert, einschließlich der von Web-Crawlern gestellten. Hier ist eine schrittweise Aufschlüsselung, wie die Abfrage funktioniert:

  • Parameter:
    • Die Abfrage akzeptiert zwei Parameter, :start_date und :end_date, die den Zeitraum für den Bericht definieren. Beide Datumsparameter akzeptieren das Format JJJJ-MM-TT.
  • Auswahl und Filterung:
    • Die Abfrage wählt Datensätze aus der Tabelle application_requests aus, bei denen req_type gleich 6 ist. Die Spalte req_type kategorisiert die Art der Anfrage, und ein Wert von 6 identifiziert speziell Anfragen von Web-Crawlern.
    • Sie filtert diese Datensätze weiter, um nur diejenigen einzuschließen, die in den angegebenen Datumsbereich fallen, unter Verwendung der Parameter :start_date und :end_date.
  • Aggregation:
    • Die Abfrage gruppiert die Ergebnisse nach dem Datum der Anfrage (ar.date::date). Diese Gruppierung ermöglicht die Aggregation von Crawler-Aufrufen pro Tag.
    • Anschließend berechnet sie die Summe von ar.count für jede Gruppe, wobei ar.count die Anzahl der Crawler-Anfragen darstellt. Diese Summe wird in der Ausgabe als "Crawler Views" bezeichnet.
  • Sortierung: Schließlich werden die Ergebnisse nach dem Datum in aufsteigender Reihenfolge sortiert. Diese Sortierung erleichtert die Visualisierung der Crawler-Aktivitätstrends über den angegebenen Zeitraum.

Beispielergebnisse

date Crawler Views
2024-01-07 3217
2024-01-08 2342
2024-01-09 3995
2024-01-10 3667
2024-01-11 3095
… …
1 „Gefällt mir“