フォーラムのクロールとインデックス作成を許可しつつ、ログイン経由でのみアクセスを許可するには？

[silvacarl (Carl L Silva)]

クローラーがフォーラムをスクレイピングしてインデックス化できるようにしつつ、アクセスをログインのみに制限することは可能でしょうか？

つまり、コンテンツは検索でインデックス化され発見可能である一方で、実際にアクセスできるのはユーザー名とパスワードを持つ場合に限られる、という設定です。

これは実現可能でしょうか？もし誤った場所に投稿してしまった場合はお詫び申し上げます。どこに投稿すべきか迷っていたためです。

[codinghorror (Jeff Atwood)]

いいえ、Google はこれを許可しません。これは利用規約に違反します。