可能是机器人,也可能是人工智能抓取机器人。
对我帮助很大的是管理员中的网络爬虫报告,在我被告知它们的存在后(我以前从未注意到它们),我使用这个报告禁止了各种爬虫。这减少了匿名浏览量。我认为爬虫也会通过匿名浏览进入。我不知道是如何做到的。
报告还提供了爬虫(用户代理)的名称,你可以在每个爬虫上搜索,看看它是否有价值。
这个话题也可能有用:
可能是机器人,也可能是人工智能抓取机器人。
对我帮助很大的是管理员中的网络爬虫报告,在我被告知它们的存在后(我以前从未注意到它们),我使用这个报告禁止了各种爬虫。这减少了匿名浏览量。我认为爬虫也会通过匿名浏览进入。我不知道是如何做到的。
报告还提供了爬虫(用户代理)的名称,你可以在每个爬虫上搜索,看看它是否有价值。
这个话题也可能有用: