网络爬虫问题

支持
1

下午好，

Discourse 服务器是否有特定的方式让 HTTP 请求标识自己为网络爬虫请求？原因是该网站使用了无限滚动等元素，因此我想确认在爬虫请求时页面显示是否会不同。提前感谢！

2

您可以在 User-Agent 请求头中包含 bot 字符串，以获取我们专用的爬虫视图。