Здравствуйте,
Я только что получил это письмо от Google:
Уберите директивы «noindex» из robots.txt
Известна ли эта проблема сообществу? Нужно ли мне предпринимать какие-либо действия?
Спасибо.
Похоже, Google только что это разослал, мне тоже пришло письмо.
То же самое, публикую, чтобы следить за мнениями и т.д.
То же самое письмо. Мне нужно разобраться с этим самостоятельно? Как с этим справиться?
Не волнуйтесь, это реализовано в ядре: команда Discourse обновит его, и через несколько дней проблема будет решена. Нам останется только обновить наш Discourse.
Однако для самых нетерпеливых вы уже сейчас можете отредактировать файл robots.txt:
Google Search Console отправляет мне сообщения о вашем сайте на Discourse:
Удалите директиву ‘noindex’ из файла robots.txt для https://discourse.hookproductivity.com/
Владелец сайта https://discourse.hookproductivity.com/,
Google обнаружил, что ваш файл robots.txt содержит неподдерживаемое правило ‘noindex’.
Это правило никогда официально не поддерживалось Google, и с 1 сентября 2019 года оно перестанет работать. Пожалуйста, обратитесь в наш центр помощи, чтобы узнать, как заблокировать страницы от индексации в Google.
Если вы не настраивали свой файл robots.txt, вам ничего делать не нужно… директива disallow уже выполняет основную работу.
По умолчанию Discourse использует в файле robots.txt как disallow, так и noindex.
В сообщении в блоге об этом обновлении Google рекомендует использовать disallow, что мы уже делаем. Мы также используем noindex, чтобы помочь избежать проблемы со ссылками, упомянутой Google (я выделил жирным соответствующий фрагмент)…
Disallow в robots.txt: Поисковые системы могут индексировать только те страницы, о которых они знают, поэтому блокировка доступа к странице для сканирования обычно означает, что её содержимое не будет проиндексировано. Хотя поисковая система может также индексировать URL-адрес на основе ссылок с других страниц, не видя самого содержимого, мы стремимся сделать такие страницы менее заметными в будущем.
С нашей стороны мы планируем внести обновление, чтобы добавить мета-тег noindex или использовать заголовок X-Robots-Tag в наших HTTP-ответах, чтобы гарантировать, что Google не будет индексировать ссылку, когда она появляется на других страницах (мы обновим эту тему, если внесём какие-либо изменения).
Если вы добавили пользовательские правила noindex в файл robots.txt через страницу администрирования /admin/customize/robots, вам следует изменить их на disallow.
Наличие директивы noindex в файле robots.txt было ошибочным изменением, направленным на «SEO», которое нас, к сожалению, убедили внести около года назад. Это изменение теперь отменено, а исправление перенесено в стабильную версию.