Google 索引问题(robots.txt)

Google 向我通报了论坛存在的这个问题,关于如何解决有什么建议吗?

另外,Discourse 没有站点地图。我找到了一个站点地图插件,但我的问题是——站点地图会持续更新吗?还是我需要频繁重新初始化插件来“更新”站点地图?

相关论坛

受此问题影响的页面/URL 有多少个?

7

:bell:

:locked:

2020 年 4 月 10 日

https://voskcointalk.com/u/greer

2020 年 4 月 10 日

2020 年 4 月 10 日

2020 年 4 月 10 日

2020 年 4 月 10 日

2020 年 4 月 9 日

2020 年 4 月 9 日

是的,/u/ 页面默认会在 robots.txt 中被排除。您是否认为不索引用户个人资料会遗漏某些内容?

如果答案是肯定的,您可以在以下地址覆盖您的 robots.txt 文件:

https://voskcointalk.com/admin/customize/robots

默认排除它们有什么原因吗?如果某人想通过谷歌轻松搜索论坛上的特定用户,比如 greer voskcointalk,如果他的个人资料未被索引,那么除了谷歌仅链接到他的某个帖子、让用户直接跳转到该帖子外,是否就无法实现呢?

个人资料页面的爬虫视图中,除了个人简介外没有其他内容,而垃圾信息发送者喜欢在个人简介中塞入垃圾信息。全面禁止爬虫抓取,可以防止垃圾信息与网站关联,这对各方面都更有利。

此外,Discourse 没有站点地图。我找到了一个站点地图插件,但我的问题是——站点地图会持续更新,还是需要我频繁重新初始化该插件才能“更新”站点地图?

您熟悉这些信息吗?感谢上面的回复。

它会自动更新。

规避 WAF 阻止:(http.request.uri.path eq "/basic-info.json" and http.request.uri.path eq "/posts(/[0-9]+)?") 全部忽略。