내 포럼에는 특정 TL 레벨이 있어야만 읽을 수 있는 카테고리가 있습니다.
Google이 이를 크롤링하려고 하면 오류가 발생합니다. robots.txt를 통해 이러한 카테고리를 자동으로 제외해야 할까요?
구글은 이 링크들을 어디서 가져온 걸까요? 사이트맵에 이런 주제들이 표시되고 있는 건가요?
음. 좋은 질문이네요. 스레드의 정준 URL에 category_id가 포함되어 있지 않아서 쉽게 필터링할 수 없는 것 같아요. 사이트맵에 포함되어 있지 않다면, 구글이 다른 곳에서 해당 링크를 발견했을 때 모든 개별 URL을 robots.txt에 포함시키지 않는 한 쉽게 차단할 수 있는 방법이 없습니다. 하지만 이는 합리적인 접근 방식이 아니죠.