Мы продолжили анализ проблем после этого изменения и решили откатить его согласно:
Цель состояла в том, чтобы ограничить бюджет сканирования Google, расходуемый на сканирование неканонических ссылок на темы.
После применения этого изменения мы выпустили два исправления, которые сделали его ненужным.
-
RSS-каналы тем больше не отслеживаются, ссылки в RSS-каналах тем не обрабатываются. Например:
https://meta.discourse.org/t/search-engines-now-blocked-from-indexing-non-canonical-pages/218985.rss -
RSS-каналы постов теперь содержат канонические ссылки. Например:
https://meta.discourse.org/posts.rss
В совокупности эти два изменения означают, что поисковые роботы больше не обнаруживают большое количество неканонических ссылок на сайтах Discourse.
Это освобождает бюджет сканирования и делает настройку сайта больше не обязательной. Операторы сайтов по-прежнему могут экспериментировать с ней, однако по умолчанию она отключена.