개인용에서 공용으로 전환했는데 robots.txt에 의해 차단됨

방금 포럼을 Google에서 발견할 수 있도록 공개하고, 검색 콘솔을 사용하여 사이트를 인덱싱했습니다. (해야 할 다른 작업이 있는지 확실하지 않네요 ¯\_(ツ)_/¯ (제안이 있으신가요?)

Google 검색 콘솔에서 받은 피드백은 다음과 같습니다:

robots.txt를 확인해 보셨나요?

robots.txt 파일에서 무엇을 확인해야 하는지, 혹은 어디서 찾을 수 있는지 확실하지 않습니다.

관리자 설정에서 이 옵션이 체크되어 있는지 확인은 했습니다…

이것이 내 질문에 어떤 차이를 만드는지 확실하지는 않지만, 한 가지 더 언급할 점은 SSO를 사용하고 있으며 WordPress를 프로바이더로 사용하고 있다는 것입니다. 이것이 여기서 차이를 만들까요?

제 사이트는 pickleballist.com이고
제 포럼은 forums.pickleballist.com입니다.

각 사이트의 루트에 robots.txt가 위치하므로 다음과 같습니다:

https://pickleballist.com/robots.txt
https://forums.pickleballist.com/robots.txt

해당 파일에는 Google을 차단하는 내용이 없으며, ryte의 이 도구와 같은 서드파티 robots.txt 스캐너를 사용하여 직접 확인할 수 있습니다.

robots.txt가 Googlebot을 차단하지 않는다는 점을 확인해 주는 내용입니다:

Google 또한 검색 콘솔 내에서 테스트기를 제공합니다.

User-agent: *
Disallow:

로봇.txt 파일에서 링크를 차단하려면 해당 링크를 삭제하세요

포럼이 로그인 필수 설정이 되어 있거나 크롤링을 차단한 상태가 오래 지속되었기 때문에, 크롤러가 robots.txt 파일을 다시 확인하여 차단이 해제되었음을 인식하는 데는 시간이 좀 걸릴 것입니다. 해당 페이지 어딘가에 재크롤링을 요청할 수 있는 버튼이 있을 가능성이 높고, 없다면 그냥 기다리면 됩니다.

네, 몇 달 전부터 “login_required” 상태였다는 말씀이 맞습니다. 곧 인덱싱되기를 바랍니다!