Означает ли фраза «произвольное принятие решений» один из следующих пунктов:
(См. Page indexing report - Search Console Help)
С положительной стороны добавления всех этих канонических URL с параметром ?page=… в карту сайта:
Это дает Google четкий сигнал относительно тега <lastmod> для этих URL. Благодаря этому у Google нет причин повторно сканировать неизмененные URL с параметром ?page=…, и он может использовать свой ценный бюджет сканирования для более важных URL.
Если URL с параметром ?page=… отсутствуют в карте сайта, Google все равно находит их и выполняет некоторое «произвольное» повторное сканирование — даже если это совершенно не нужно, поскольку изменений в контенте нет.
См. Build and Submit a Sitemap | Google Search Central | Documentation | Google for Developers
Google действительно отслеживает и различает, откуда он узнал о URL:
«Все отправленные страницы» (карта сайта) или «Все известные страницы» (ссылки и т. д.).
См. Google Search Console → Индекс → Отчет о покрытии
- «Карта сайта — это важный способ для Google обнаруживать URL на вашем сайте». см.
- «Google выбирает каноническую страницу на основе ряда факторов (или сигналов), таких как […], наличие URL в карте сайта, […].» см.
- «Использование карты сайта не гарантирует, что все элементы в вашей карте сайта будут просканированы и проиндексированы, поскольку процессы Google используют сложные алгоритмы для планирования сканирования». см.