현재 제 포럼은 초대 전용으로 설정되어 있습니다. 주로 사람들이 단순히 구경만 하는 것이 아니라, 토론에 참여하기 위해 계정을 만들도록 장려하고 싶기 때문입니다. 하지만 이제 이런 설정이 구글 검색 결과에서 게시글이 노출되는 것을 막을 수 있을지 궁금해졌습니다.
초대만 받을 수 있는 경우라면 그렇지 않습니다. 이렇게 하면 콘텐츠를 보려면 로그인해야 하니까요. 하지만 읽기 전용이고 게시하려면 초대만 필요한 경우라면, 계정이 없는 구글의 스크래퍼가 페이지를 볼 수 있으므로 구글에 표시됩니다.
Google(그리고 다른 잘 관리되는 사이트)에 내 사이트를 인덱싱하거나 목록에 표시하지 말라고 요청할 수 있습니다. 하지만 사이트가 공개되어 있다면, 덜 잘 관리되는 스크래퍼가 원하는 대로 하는 것을 막을 수는 없습니다.
참고로 login required(로그인 필요)와 invite only(초대만 가능)는 서로 다른 개념입니다.
현재 사이트에는 두 가지 설정이 모두 활성화되어 있어, 검색 엔진이든 일반 사용자가든 계정이 없는 누구도 콘텐츠를 볼 수 없습니다.
조금 오프토픽이지만, '알린다(tell)'기보다는 '요청한다(ask)'가 더 적절합니다. 이 차이를 이해하는 것이 중요한 상황이 있는데, 예를 들어 누군가가 Gmail을 통해 링크를 공유하는 경우처럼 googlebot이 robots.txt를 무시하고 인덱싱을 수행할 수 있기 때문입니다.