Факт: поисковые системы и боты могут индексировать темы в категории на Discourse. Как запретить Google, Bing, Yandex и другим поисковикам индексировать темы определённой категории?
Ожидаем поддержки от экспертов по Discourse.
Вы можете изменить разрешение категории на TL0, чтобы её видели только авторизованные пользователи, а также заблокировать ботов.
Если предложенный Дон метод работает — используйте его. Это единственный стопроцентно надёжный способ. Однако, если форум должен быть доступен для случайных посетителей, вы не можете использовать TL0. Конечно, можно использовать User-agent: * Disallow: / или аналогичные мета-теги, но иногда они соблюдаются, а иногда — нет. Если кто-то поделится ссылкой через Gmail, Google проиндексирует страницу, независимо от того, что указано в robots.txt или мета-тегах.
Кроме того, эти уловки эффективны только в том случае, если бот их соблюдает. Большинство SEO-краулеров им не следуют. А ещё есть бесчисленное множество неавторизованных ботов и скрипт-кидди, пытающихся что-то сделать.
Поэтому то, что вам нужно делать, зависит от того, какой уровень конфиденциальности вы ищете.