robots.txtファイルをカスタマイズしていない場合は、何もしなくて構いません… disallowですでに大部分の処理が完了しています。
デフォルトでは、Discourseはrobots.txtでdisallowとnoindexの両方を使用しています。
この更新に関するブログ記事において、Googleはdisallowの使用を推奨しており、これは私たちが既に行っています。Googleが言及しているこのリンク問題を防ぐために、追加でnoindexも使用しています（関連部分に太字を付け加えました）…
robots.txtのDisallow: 検索エンジンは既知のページのみをインデックスに追加できるため、ページへのクロールをブロックすれば、そのコンテンツがインデックスに追加されなくなるのが一般的です。検索エンジンが他のページからのリンクに基づいてURLをインデックスに追加する可能性はありますが、コンテンツ自体を確認できない場合、今後そのようなページがあまり目立たないようにすることを目標としています。
当方では、他のページに表示されたリンクがGoogleによってインデックスされないよう、HTTPレスポンスでnoindexメタタグを追加するか、X-Robots-Tagヘッダーを使用する更新を検討しています（変更があればこのトピックを更新します）。
/admin/customize/robots管理ページを通じてrobots.txtにカスタムnoindexルールを追加している場合は、それらをdisallowに変更してください