Отчет панели управления: просмотры страниц веб-краулера

[SaraDev (Sara Devlaeminck)]

Это SQL-версия отчёта панели управления для показов страниц веб-краулеров.

Данный отчёт панели управления показывает общее количество показов страниц, которые сайт получает от веб-краулеров в день, за определённый период времени. Понимание поведения веб-краулеров может помочь администраторам сайта оценить, как часто поисковые роботы посещают и индексируют их сайт.

-- [params]
-- date :start_date = 2024-01-07
-- date :end_date = 2024-02-08

SELECT
    ar.date::date AS "date",
    SUM(CASE WHEN ar.req_type=6 THEN ar.count ELSE 0 END) AS "Crawler Views"
FROM application_requests ar
WHERE req_type IN (6)
    AND ar.date::date BETWEEN :start_date AND :end_date
GROUP BY date
ORDER BY date

Пояснение к SQL-запросу

Запрос выполняется над таблицей application_requests, которая регистрирует различные типы запросов, поступающих в приложение Discourse, включая запросы от веб-краулеров. Ниже приведено пошаговое объяснение работы запроса:

• Параметры:
  • Запрос принимает два параметра: :start_date и :end_date, которые определяют временной диапазон для отчёта. Оба параметра даты принимают формат ГГГГ-ММ-ДД.
• Выборка и фильтрация:
  • Запрос выбирает записи из таблицы application_requests, где req_type равен 6. Столбец req_type классифицирует тип запроса, а значение 6 конкретно идентифицирует запросы, сделанные веб-краулерами.
  • Дополнительно эти записи фильтруются так, чтобы включать только те, которые попадают в указанный диапазон дат, с использованием параметров :start_date и :end_date.
• Агрегация:
  • Запрос группирует результаты по дате запроса (ar.date::date). Такая группировка позволяет агрегировать просмотры краулеров по дням.
  • Затем вычисляется сумма значений ar.count для каждой группы, где ar.count представляет количество запросов от краулеров. Эта сумма помечается как "Crawler Views" в выводе.
• Сортировка: Наконец, результаты сортируются по дате в порядке возрастания. Такая сортировка облегчает визуализацию тенденций активности краулеров за указанный период.

Пример результатов

date	Crawler Views
2024-01-07	3217
2024-01-08	2342
2024-01-09	3995
2024-01-10	3667
2024-01-11	3095
…	…