robots.txtでプライベートサイトのインデックス登録を完全にブロックする方法

サポート
1

こんにちは。以下のディスカッションをご覧になったかと思います：

しかし、この質問に対する明確な答えは見つかりませんでした。Discourse サイトの robots.txt を有効にして、すべてのクローラーによるインデックス作成を拒否するにはどうすればよいでしょうか？これはプライベートサイトに関するもので、検索エンジンに存在する理由はありません。よろしくお願いいたします！

2

そのトピックの 2 番目に最後の返信をご覧ください: Needing to edit robots.txt file - where is it? - #42 by Osama

3

あ、そこを見落としていました。完璧です。うまくいきました。ありがとう！

4

また、discourse.yoursite.com/wizard でウィザードを再実行し、「ログイン必須」設定を有効にしてください。これにより、検索エンジンも遮断されます。

5

当サイトは以前からログインが必要で、ユーザーによる自己登録は許可されていませんでした。しかし、それでも検索エンジンに表示されていました。ただし、ログインできないためコンテンツがインデックスされることはありませんでした。robots.txt で明示的にブロックすることで、すべての言及がなくなることを期待しています。ありがとうございます。