Хорошо это знать. Звучит как большой шаг в правильном направлении.
Кстати, мы уже сталкивались с подобным в нашем текущем форуме (когда он ещё был публичным): мы добавляли файл robots.txt в определённые подпапки форума, но Google всё равно их сканировал. Я считаю, что это крайне необычно… Однако наш вывод таков: бывают случаи, когда Google не следует этой директиве. Единственный способ на 100% гарантировать, что страница не будет проиндексирована, — это скрыть её за экраном авторизации или вообще не создавать такую страницу.
Со стороны кажется, что должно быть просто запретить Discourse выполнять лишние действия по созданию дополнительных URL для каждого ответа. Так программа выполняла бы меньше работы и создавала бы меньше сложностей, не так ли?
Было бы здорово иметь в настройках администратора возможность полностью отключить эти дополнительные URL.