Помимо ручной настройки, возможно ли настроить robots.txt для блокировки всех связанных с WP-Discourse тем форума?
(чтобы посты форума не индексировались)
Есть ли простая опция-переключатель, позволяющая запретить поисковым роботам сканировать все связанные тем форума? Или хотя бы настройка-переключатель для каждого поста при публикации или редактировании записи WP, связанной с темой форума в WP-Discourse?
Зачем вы хотите это сделать? Я почти уверен, что пост форума содержит ссылку на каноническую версию на вашем сайте WordPress.
После добавления наблюдается снижение ранжирования/репутации статей Википедии (оригинальных). Я не хотел начинать дискуссию или жаловаться, просто спрашиваю, как этого добиться. Уверен, что есть и многие другие причины, по которым другие могут хотеть иметь такой уровень контроля над тем, что индексируется.
Просто предлагаю: возможно, вам стоит переопределить свои цели, так как вы движетесь не в ту сторону.
Но с обратным прокси это довольно тривиальная задача.
Не все веб-краулеры соблюдают файл robots.txt.
Привет, @haydenjames,
В плагине WP Discourse нет возможности добавлять создаваемые им посты в файл robots.txt. Это, по сути, вопрос, касающийся только самого Discourse: «Можно ли автоматически устанавливать noindex для встраиваемых тем?» (или что-то в этом роде). Встраиваемая тема из WordPress функционально ничем не отличается от любой другой встраиваемой темы. Вам стоит направить свои поиски в эту сторону, например, изучить происхождение настройки сайта embed set canonical url и связанные обсуждения.
Я не думаю (но готов признать свою ошибку), что то, что вы хотите сделать, является текущей функцией Discourse. В настоящее время Discourse добавляет заголовок X-Robots-Tag: noindex к GET-запросам для скрытых тем. Вы можете сделать то же самое для встраиваемых тем с помощью плагина.
Иду не в ту сторону, чтобы заблокировать индексацию ветки форума с дублирующейся статьёй, которую я предпочитаю, чтобы пользователи Google находили через блог WP? Для меня это нормально. Основное преимущество плагина WP-Discourse для меня — возможность обсуждать посты блога без использования таких решений, как Disqus или очень ограниченные стандартные комментарии WP. Мне не нужна SEO-выгода от форумов, если только это не уникальные ветки, не связанные с уже существующим контентом.
Дубликатов нет, если вы ничего не меняли.
Потому что:
И:
Спасибо, @angus.
Уточню: если я скрою категорию, в которой хранятся посты, связанные с WP-discourse (отличается ли «скрытый» от «приватного»?), то пост будет скрыт от форумов/публичного доступа/поисковых роботов, но встроенные комментарии в конце каждого поста блога WordPress с комментариями останутся видимыми?
Извините за вопросы новичка, я не очень знаком с Discourse и хочу убедиться, что правильно понимаю ваш ответ.
…зависит от вашего определения «дубликата». Каноническая ссылка установлена, но для меня лично, поскольку и пост в блоге, и тема на форуме содержат точную копию текста (дубликат), я хотел бы просто полностью блокировать такие темы. Это просто моё предпочтение. Возможно, в будущем смысл этой темы станет более понятным. Но пока я честно не пытаюсь спровоцировать спор или что-то в этом роде. Я считаю, что блокировка — более абсолютное решение для меня.
Это как пойти к механику и попросить его «дважды поменять масло». Я понимаю первоначальную логику от @angus, но в итоге речь идёт лишь о том, можно ли это как-то сделать или нет.
Редактирование: Теперь, подумав, я мог бы просто добавить категорию форума с постами блога в robots.txt, верно? Или это будет перезаписано? (Я поищу на форумах информацию о том, как работает robots.txt в Discourse и как его можно редактировать).
Так что что-то вроде:
forum.domain.com/c/blog-articles/xx/*
«Скрытая» тема — это тема, которая не отображается в списках тем, то есть её невозможно «найти» обычным способом. Скрытую тему можно определить по значку глаза с перечёркивающей его линией.
На самом деле есть способ автоматически делать посты из плагина WP Discourse «скрытыми» 
Вы можете использовать настройку «Опубликовать как невидимые темы».
Помните о том, что я сказал выше, а также о тексте рядом с этой настройкой. Это означает, что темы, опубликованные из Discourse в WordPress, не будут отображаться в списках тем вашего форума. Комментарии будут работать в обычном режиме. Если у вас включен вебхук синхронизации данных комментариев, то после первого комментария тема перестанет быть скрытой. Эта функция не была изначально предназначена для таких целей. Подробнее см.
Если вы хотите просто добавить заголовок X-Robots-Tag: noindex к встроенной теме (не вдаваясь в вопросы скрытия), вам нужно либо запросить эту функцию как новую возможность самого Discourse, либо добавить её через плагин.
Это здорово. Спасибо за уточнение и за то, что поделились настройкой WP Discourse.
Вопрос: Если я вручную отредактирую файл robots.txt на Discourse, сохранится ли это изменение?
Я всё ещё ищу ответ на этот вопрос на форумах. Если найду какие-либо ссылки с ответом, добавлю их.
@haydenjames Последнее, что я хотел бы отметить, — похоже, что в последнее время возникла проблема с каноническим URL встраиваемых тем. Имейте это в виду, если вы только что заметили эту проблему.
Спасибо. Ах, всё не так просто, потому что URL каждой ветки не содержит категории. Придётся добавлять их вручную, по одной.
Принято. Спасибо. Отчасти поэтому я хотел бы использовать радикальный подход — просто заблокировать все встраиваемые посты WP-Discourse через robots.txt. Такие вещи случаются. Это понятно.
Ваше или моё определение не имеет значения. Единственное важное определение — это определение Google. И тогда дубликатов нет.
Также есть вероятность, что Google ценит ваш форум выше, чем WordPress. В этом случае решение заключается не в попытке заблокировать индексацию, а в исправлении источника.
Хотя тег rel=canonical может помочь избежать штрафа за дублирование контента при повторной публикации постов, вы всё равно можете получить штраф, если неправильно используете этот тег. Я найду решение. Вернусь к этой теме позже.
