Bing собирает все RSS-ленты для каждого поста. Можно ли отключить ленту в Discourse?

Поддержка
1

Итак, я использую Discourse как форум для сайта на поддомене, и заметил, что Bing индексирует каждый пост и RSS-канал категорий в разделе карты сайта.

Это ожидаемое поведение?
Стоит ли отключить RSS-канал на форуме, чтобы предотвратить это?
Есть ли способ отключить канал в Discourse?

2

Нет. RSS-ленты имеют заголовок noindex, который Bing должен уважать. См.

и

Сделать это невозможно (кроме как сделать весь сайт доступным только после входа в систему — но это отключит всю индексацию).

Вы видите RSS-страницы в реальных результатах поиска Bing? Или только в инструментах для вебмастеров?

3

Есть ли способ подтвердить, что в ленте присутствует noindex? Я спрашиваю, потому что даже не могу найти тег noindex в исходном коде RSS. Например, я также открыл эту тему форума с расширением .rss, и в исходном коде я тоже не нашёл noindex.

На данный момент я вижу ленты только в инструментах для вебмастеров, в разделе карты сайта в группе лент.

Спасибо.

4

Конечно. Предполагается, что вы используете Google Chrome, но в других браузерах процесс аналогичен.

  1. Откройте панель инструментов разработчика F12
  2. Перейдите на вкладку Network (Сеть).
  3. Загрузите RSS-ленту, например эту тему — https://meta.discourse.org/t/bing-is-picking-all-the-rss-feed-for-each-post-can-i-disable-the-feed-in-discourse/168025.rss
  4. Выберите запись RSS-ленты из списка.
  5. Посмотрите заголовки ответа на вкладке Headers (Заголовки); вы должны увидеть x-robots-tag: noindex
5

Спасибо, я вижу тег x-robots-tag: noindex.
Но я всё ещё не понимаю, почему Bing индексирует RSS, если там стоит тег noindex.

6

Добро пожаловать в увлекательный мир Bing!™

Жаль, что я не могу сказать, что удивлён. Честно говоря, очень жаль.

7

Пытаешься догнать Google? :slightly_smiling_face:

8

Я буду делать вид, что вы не издеваетесь. :stuck_out_tongue_closed_eyes:

Нет, они уже это сделали, но им ещё предстоит много догонять в плане корректной индексации форумов Discourse.

9

Всем привет! Извините за все неудобства. Я перешлю эту ветку остальным коллегам из команды Bing. Bing не должен индексировать RSS с мета-тегом noindex, так что, скорее всего, это ошибка или проблема с обходом. Спасибо за сообщение!

Ожидаем, что проблема будет исправлена в течение нескольких часов. После этого я вернусь к этой ветке и напишу подтверждение. Если возникнут какие-то сложности, я перейду в личные сообщения с автором темы. Ещё раз спасибо всем.

10

@Frédéric рассказал мне об этом месте и о том, что происходит. Я выступаю от его имени, так как он вынужден уделить внимание другой, к сожалению, неотложной задаче. :slight_smile:

На данный момент, похоже, мы разобрались с проблемой. Как и говорил Frédéric, я написал @mhwebee в личные сообщения и буду решать вопрос конфиденциально. Если бы вы могли закрыть эту тему, это было бы замечательно!

С наилучшими пожеланиями от меня и команды разработчиков Bing,

Jordi