我看到了这个
我想知道爬虫是什么？
1 个赞
爬虫程序就像 Google 搜索自动化“抓取”您的网站内容，以便 Google 搜索在您搜索它时可以展示您的网站。
除了 Google 的爬虫程序之外，还有其他的爬虫程序。
您应该查看这篇帖子（以及其中的链接）以获取更多信息：Better pageview metrics with the new site traffic report
7 个赞
为了最简单的理解，爬虫是在线抓取页面并跟踪链接以抓取更多页面的机器人。主要由搜索引擎用于构建索引，还有其他在线爬虫，例如 Wayback Machine 等。
1 个赞
其中大多数实际上是搜索引擎优化和人工智能公司，而不是搜索引擎或其他有用的参与者。而这些搜索引擎机器人的一部分实际上是抓取器，它们在寻找漏洞并窃取内容。
无论如何，在我的论坛和网站上。
1 个赞
典型的，人们总是在试图窃取别人的劳动成果。