알아두면 좋은 정보네요. 올바른 방향으로 큰 한 걸음을 내딛는 것 같습니다.
참고로, 저희 현재 포럼(아직 공개되어 있을 때)에서 robots.txt 파일을 특정 하위 폴더에 추가했는데도 Google이 여전히 크롤링을 진행한 사례를 몇 번 확인했습니다. 이는 매우 비정상적인 현상이라고 생각하지만, Google이 이 지시를 따르지 않는 경우가 일부 존재한다는 사실을 알게 되었습니다. 페이지가 인덱싱되지 않도록 100% 확실하게 하려면, 해당 페이지가 로그인 화면 뒤에 숨겨져 있거나 아예 존재하지 않는 상태여야 합니다.
외부인의 시각에서 보면, Discourse에게 각 댓글마다 이러한 추가 URL을 생성하는 번거로운 과정을 거치지 말라고 지시하는 것은 간단해 보입니다. 이렇게 하면 소프트웨어가 더 적은 작업을 수행하고 복잡성도 줄어들지 않을까요?
관리자 설정에서 이러한 추가 URL을 아예 끄는 기능을 제공하면 좋겠습니다.