Отправляйте заголовок ссылки canonical вместо заголовка noindex.
Отправка заголовка canonical, вероятно, даёт те же преимущества для бюджета сканирования, что и отправка заголовка noindex, но без SEO-последствий исключения URL-адресов, которые могут иметь обратные ссылки, из-за использования noindex.
Если вы можете настроить свой сервер, вы можете использовать HTTP-заголовок rel=“canonical” (вместо HTML-тега), чтобы указать канонический URL-адрес для документа, поддерживаемого поисковой системой, включая не-HTML-документы, такие как файлы PDF.
Мы можем настроить наш сервер.
Указание «использовать HTTP-заголовок rel=“canonical” вместо HTML-тега» подчёркивает предпочтение решения с HTTP-заголовком?
Googlebot обрабатывает заголовки no-index очень элегантно. Он рекомендует оставлять как можно больше маршрутов открытыми и использует заголовки для высококачественных правил индексации.
Возможно, Google обрабатывает заголовки ссылок canonical так же элегантно, как и заголовки no-index.
Это откат недавно введенной настройки сайта к состоянию, когда она по сути не выполняет никаких действий (перемещение того, что мы отправляем как тег head, в заголовок; семантических изменений нет).
Я не хочу, чтобы это изменение было применено в таком виде.
html-тег canonical (может быть проигнорирован, но в любом случае совпадает с заголовком)
Вся идея этого подхода:
Установить canonical как http-заголовок, чтобы получить ту же выгоду, что и от http-заголовкаnoindex, а именно — более быстрый обход страниц.
Таким образом, это может сделать noindex устаревшим со всеми его неопределёнными последствиями.
Другой аспект сравнения noindex и canonical:
noindex — это больше, чем очень сильный сигнал не включать страницу в поисковый индекс.
Однако при использовании noindex содержимое страницы всё ещё обрабатывается Google Bot для извлечения ссылок (для отключения этого существует дополнительная опция nofollow).
canonical — это сильный сигнал о том, что контент, подлежащий обходу, находится по другому каноническому URL.
В случае, если Google Bot решит принять этот сигнал для одной страницы, высока вероятность, что он вообще не будет обрабатывать содержимое этой страницы, а займётся только каноническим URL.
Это «мысленный эксперимент». Он нигде не реализован, и я никогда не рекомендую его внедрять:
заголовок noindex
html meta-тег noindex (вместо: html link-тег canonical)
– ИЛИ –
– без заголовка –
html meta-тег noindex
Почему стоит или не стоит реализовывать это таким образом?
Это изменение не является ‘no-op’:
Google может обрабатывать заголовки и HTML-контент на разных этапах своих очередей обработки. Отправляя заголовки, мы можем пропустить дальнейшие очереди обработки (например, очередь рендеринга), тем самым освободив бюджет сканирования для более важных страниц.
Не категорически против, но это кажется незначительным. Google сейчас постоянно скачивает контент, и я сомневаюсь, что сохранение разбора HTML действительно внесёт какие-либо ощутимые изменения.
Сначала нужно уделить внимание многим другим областям; микроданные, вероятно, требуют первоочередного внимания.
Мы можем настроить наш сервер.