我在 ahrefs 的论坛上看到了关于“AI Citations”的报告，内容如下：
我在设置中检查了一下，发现了这个：
这里有人遇到过这种情况吗？限制爬虫（bots）是否意味着它们根本不会索引论坛？有人移除过限制，能谈谈对资源和 AI Citations 的影响吗？谢谢。
不，那不是这个意思。节流停止，这取决于它是如何完成的，因为 robots.txt 是无效的，机器人可以充当小型分布式拒绝服务攻击。
您没有获得任何人工智能引用的三个原因：
- 相同的信息可以在更受欢迎的地方找到
- 没有人问过任何会导致引用您的论坛 URL 的问题
- Ahrefs 是错误的
Ahrefs 是那些其机器人应该首先被禁止的公司之一。这也是“Ahrefs 是错误的”这三个假设中的一个原因。
据我所知，Discourse 默认会阻止它们：
所以是的，ahrefs 的报告可能并不可靠。
它们选择不告知您无法获取任何数据，而是错误地报告“0”……这倒是它们需要回答的问题。
您可以解除阻止它们的机器人，但要准备好应对偶尔的迷你 DDoS、页面浏览量和服务器负载增加。
ahrefs 机器人不需要能够索引我们的论坛才能正常工作，因为它只报告它在 Google 上看到的内容。
如果真是那样，那将非常不寻常，因为我们的论坛每年有数百万次访问……这就是我为什么想知道是否有主动阻止 AI 机器人的措施。或者该框架在技术上对 AI 抓取器不友好，比如它的 JavaScript 渲染等。
能否让机器人实际引用你们的论坛？
如果可以，问题就在于 ahrefs。我仍然是这么猜测的，AI Citations 功能是比较新的，可能还不能正常工作。
如果不行，那可能就是别的问题了。在这种情况下，可以试试其他几个 Discourse 论坛。如果它们能显示出来，那么问题就不是框架本身，而是你网站的特定问题。
就我所知，这是 ChatGPT 对我关于 Meta 的示例查询给出的结果：
并非如此。而且那也不算多。如果你的访问量是指谷歌搜索量，我每年有 350 万次。如果指的是用户访问量，那也不算多。如果是机器人访问量，那更少了。此外，访问量并不意味着任何人工智能会认为你的论坛被明确引用为信息来源。这取决于你论坛的内容。
但话说回来，这不是你可以在这里问的问题。只有 Ahrefs 知道他们是如何计算他们的指标的。
此外，Ahrefs 看不到谷歌有多少次引用了人工智能。
所以你的意思是350万也不“算多”，或者数字在200万到350万之间才变得有意义？哈哈。
另外，来自谷歌的独立访客……我们另一个访客少得多的网站在AI答案中随处可见……ahrefs也报告了这一点（谁知道准确性如何）……只是奇怪的是，我的一个网站拥有更多的独立访客，而另一个更大的网站却为所有引用显示0……
总之，我很想听听任何使用Discourse的网站管理员对这个话题的直接了解。有人在使用ahrefs并且看到你的论坛有非零的AI引用吗？？谢谢。
或者我应该说这是一个非常愚蠢的计算错误 
但我的辩解是，我计算的时候这里是晚上。
抱歉。
我每月收入 10,000，这不算多——但每年确实比 350 万少很多。
1 个赞
这不太可能成为 Discourse 论坛的问题，因为它会为任何使用类似机器人用户代理的爬虫程序呈现爬虫视图。
当然，如果允许的话。