Google 인덱싱 문제 (robots.txt)

구글에서 포럼에 이 문제가 있다는 통보를 받았습니다. 해결 방법에 대한 조언을 주실 수 있나요?

또한 Discourse에는 사이트맵이 없는데, 사이트맵 플러그인을 찾았지만 해당 플러그인에 대해 질문이 있습니다 – 사이트맵이 지속적으로 자동 업데이트되는 건가요, 아니면 사이트맵을 "업데이트"하려면 플러그인을 자주 다시 초기화해야 하나요?

참고 포럼

이 문제로 인해 영향을 받는 페이지/URL은 몇 개인가요?

7

2020년 4월 10일

https://voskcointalk.com/u/greer

2020년 4월 10일

2020년 4월 10일

2020년 4월 10일

2020년 4월 10일

2020년 4월 9일

2020년 4월 9일

네, /u/ 페이지는 기본적으로 robots.txt에서 제외됩니다. 사용자 프로필을 인덱싱하지 않는 것이 누락된 부분이 있다고 생각하시나요?

그렇다면 robots.txt 파일을 다음에서 오버라이드할 수 있습니다.

https://voskcointalk.com/admin/customize/robots

기본적으로 제외되는 데 특별한 이유가 있나요? 만약 누군가가 구글을 통해 포럼에서 특정 사용자를 쉽게 검색하고 싶다면 어떻게 될까요?

예를 들어 greer voskcointalk의 프로필이 인덱싱되지 않는다면, 구글이 그의 특정 스레드 링크만 제공하고 사용자가 직접 해당 스레드로 이동해야만 가능한 것 아닌가요?

프로필 페이지의 크롤러 뷰에는 자기소개 외에는 콘텐츠가 없으며, 스팸꾼들은 자기소개란에 쓰레기 정보를 넣는 것을 좋아합니다. 사이트와 쓰레기 정보가 연관되는 것을 방지하려면 크롤링을 차단하는 것이 전반적으로 더 나은 방법입니다.

또한 Discourse에는 사이트맵이 없습니다. 사이트맵 플러그인을 찾았지만, 사이트맵이 지속적으로 업데이트되는지, 아니면 사이트맵을 “업데이트”하려면 플러그인을 자주 다시 초기화해야 하는지 궁금합니다.

이 정보에 대해 알고 계신가요? 위 답변에 감사드립니다.

자동으로 업데이트됩니다.