Еще немного информации о noindex из документации Google:
3 лайка
Похоже, эта команда не работает. Сегодня я обновил небольшой сайт на Discourse для проверки, выполнил команду, но всё ещё вижу заголовки noindex.
Редактирование: Не уверен, как работает этот параметр, но я не вижу его в SiteSettings, по крайней мере, с фронтенда (как администратор) в консоли браузера:
var d = Discourse.SiteSettings;
document.body.innerHTML = `<pre>${JSON.stringify(d, null, 4)}</pre>`;
Кажется, этот параметр предназначен для robots.txt, а не для noindex. Разве он не должен быть true по умолчанию на большинстве сайтов Discourse?
2 лайка
Ой, извините, правильно SiteSetting.allow_indexing_non_canonical_urls. Исправил в первом сообщении.
3 лайка
Мы продолжили анализ проблем после этого изменения и решили откатить его согласно:
Цель состояла в том, чтобы ограничить бюджет сканирования Google, расходуемый на сканирование неканонических ссылок на темы.
После применения этого изменения мы выпустили два исправления, которые сделали его ненужным.
-
RSS-каналы тем больше не отслеживаются, ссылки в RSS-каналах тем не обрабатываются. Например:
https://meta.discourse.org/t/search-engines-now-blocked-from-indexing-non-canonical-pages/218985.rss -
RSS-каналы постов теперь содержат канонические ссылки. Например:
https://meta.discourse.org/posts.rss
В совокупности эти два изменения означают, что поисковые роботы больше не обнаруживают большое количество неканонических ссылок на сайтах Discourse.
Это освобождает бюджет сканирования и делает настройку сайта больше не обязательной. Операторы сайтов по-прежнему могут экспериментировать с ней, однако по умолчанию она отключена.
13 лайков