公式広告プラグインを使用しています：Discourse Advertising Plugin (Ads)
/new および /unread ページでクローラーの問題が発生しています。解決方法はありますか？
URL を共有していただけますか？サイトにはログインが必要ですか？
実際、これはお客様のウェブサイトです。ログインが必要ですが、このフォーラム（meta.discourse.org）と同様に、ログインなしでも誰でもアクセスできます。
ログインしていない場合、mysterysite.com/new でトピックを見ることができますか？
いいえ、表示されません！
おっと！そのページは存在しないか、非公開です。
つまり、これがGoogleが把握している内容です。利用できないコンテンツがリストされているのは、一般的に好ましくないと考えられますが、有料サイトはある程度そのようなことをしています。
追記：これは私の勘違いでした！
「新しい」または「未読」のコンテンツを判断するには、フォーラムがユーザーの身元を確認する必要があり、そのためにはログインしたユーザーであることが求められます。
これの直し方、何か分かりますか？
Adsense は、これらの 2 ページへのアクセスがなくても正常に機能します。
これら 2 つは robots.txt から除外すべきではありませんか？
