我的论坛是私有的,我不想让它被索引。我还想删除之前创建的索引。
已通过以下 robots.txt 设置阻止抓取。 User-agent: * Disallow: /
但是如何删除现有索引?
它是否会停止抓取并随着时间的推移自动删除?或者我应该将 <meta name="robots" content="noindex"> 这个 HTML 添加到 标签中?
<meta name="robots" content="noindex">