AdSense 광고 크롤러 오류

공식 광고 플러그인 Discourse Advertising Plugin (Ads) 사용 중입니다

/new - /unread 페이지에서 크롤러 문제가 발생하고 있는데, 어떻게 해결할 수 있을까요?

URL을 공유해 주실 수 있나요? 사이트에서 로그인이 필요한가요?

실제로는 저희 클라이언트의 웹사이트인데, 로그인이 필요하지만 이 포럼(meta.discourse.org)과 마찬가지로 로그인 없이도 웹사이트에 접근할 수 있습니다.

즉, 로그인하지 않은 상태에서는 mysterysite.com/new에서 주제들을 볼 수 있다는 뜻인가요?

아니요, 보이지 않습니다!

아! 해당 페이지가 존재하지 않거나 비공개입니다.

즉, 구글이 보는 모습은 이렇습니다. 접근할 수 없는 콘텐츠가 목록에 표시되는 것은 비추천되는 것으로 생각하지만, 유료 구독 사이트들은 어느 정도 그런 방식을 취하죠.

수정: 이 부분은 제가 잘못 알고 있었네요!

어떤 콘텐츠가 “새로운” 또는 “읽지 않은” 것인지 판단하려면 포럼이 사용자의 신원을 알아야 하므로, 로그인한 사용자가 필요합니다.

이걸 어떻게 고치면 될까요?

이 두 페이지에 대한 접근 권한이 없어도 AdSense는 정상적으로 작동합니다.

이 두 항목은 robots.txt에서 제외해야 하지 않나요?

AdSense는 작동하지만, 해당 페이지에 표시될 광고에서 수익이 발생하지 않습니다. 로그인 URL과 로그인 방식에는 어떤 값을 지정해야 하나요?