검색 엔진이 게시물을 크롤링할 수 없게 만드는 조건은 무엇인가요?
토픽의 생명주기에서, 어떤 조건이 충족되면 검색 엔진 크롤러가 크롤링/인덱싱할 수 있는 상태가 되나요?
여기서 언급되지 않은 다른 가능성도 있겠지만, 제가 궁금해하는 몇 가지 가능성은 다음과 같습니다:
- 원본 토픽이 작성되고 제출된 후, 감시 단어 필터(차단 또는 승인 필요)에 걸렸을 때
- 토픽이 목록에서 제외(Unlisted)되면, 크롤링 가능 상태에서도 제거되는지
- 토픽이 삭제(Deleted)되면, 크롤링 가능 상태에서도 제거되는지
- *게시물(post)*이 신고(Flagged)되면, 크롤링 가능 상태에서도 제거되는지
아마 이 질문은 게시물이 크롤링 불가능(NOT crawlable)한 상태를 만드는 조건에 대한 답변으로 정리될 수 있을 것 같습니다.