Osama
42
PR 已合并:
如果您更新至最新的测试通过版本,即可在 /admin/customize/robots 自定义 robots.txt。该页面在 UI 中未提供任何链接,您需要手动将 URL 复制并粘贴到浏览器中访问。
注意:如果您覆盖了该文件,则后续对站点设置的任何修改(例如“白名单爬虫用户代理”等)将不会反映在 robots.txt 文件中(设置会正常保存,但更改不会生效)。您可以恢复为默认版本,此时站点设置将再次对该文件生效。
如果存在覆盖内容,且管理员访问 /robots.txt 文件,他们将在文件顶部看到一条注释,提示存在覆盖,并提供链接以便您修改文件或重置为默认版本。