Здравствуйте. Я видел обсуждение по адресу:
но не нашёл чёткого ответа на этот вопрос. Как можно включить файл robots.txt для сайта на Discourse, чтобы указать, что он не должен индексироваться никакими краулерами? Это касается приватного сайта, и нет никаких причин для его присутствия в поисковых системах. Спасибо!
Посмотрите второй предпоследний ответ в этой теме: Needing to edit robots.txt file - where is it? - #42 by Osama.
Ах, упустил это внизу. Идеально. Сработало как по маслу. Спасибо!
Также убедитесь, что включена настройка «Требуется вход», повторно запустив мастер по адресу discourse.yoursite.com/wizard. Это также заблокирует доступ поисковым системам.
Сайт всегда требовал входа в систему и не допускал самостоятельной регистрации пользователей. Тем не менее, он всё ещё появлялся в результатах поисковых систем — просто без индексации контента, так как не мог войти в систему. Моя надежда заключается в том, что с помощью явно настроенного файла robots.txt любые упоминания прекратятся. Спасибо.