Блокировать краулеры только для встроенных тем?

Привет, @haydenjames,

В плагине WP Discourse нет возможности добавлять создаваемые им посты в файл robots.txt. Это, по сути, вопрос, касающийся только самого Discourse: «Можно ли автоматически устанавливать noindex для встраиваемых тем?» (или что-то в этом роде). Встраиваемая тема из WordPress функционально ничем не отличается от любой другой встраиваемой темы. Вам стоит направить свои поиски в эту сторону, например, изучить происхождение настройки сайта embed set canonical url и связанные обсуждения.

Я не думаю (но готов признать свою ошибку), что то, что вы хотите сделать, является текущей функцией Discourse. В настоящее время Discourse добавляет заголовок X-Robots-Tag: noindex к GET-запросам для скрытых тем. Вы можете сделать то же самое для встраиваемых тем с помощью плагина.