有人看到过OpenAI的网络爬虫GPTBot访问过他们的网站吗?

请注意……我看到一种错误的观点:

直接屏蔽它

这是一种单向关系

我认为这忽略了一个重要的问题。让 OpenAI 抓取 meta.discourse.org 对 CDCK 非常有益。当你向 GPT 4 提问关于 Discourse 的问题时,它至少有很大的几率能够回答。

这是一种双向关系:

你给予 OpenAI 数据访问权限
OpenAI 在你的数据上训练 LLM,这可能会为你带来价值。

另外,相关内容:How to prevent community content from being used to train LLMs like ChatGPT?

我们在一些舰队中看到一些 GPTBot 访问,流量大约是 Googlebot 的 20-40 倍。

任何对此感到不适的人都可以直接在 Discourse UI 中屏蔽,但与我们见过的一些不良机器人相比,该机器人似乎表现得非常好。

8 个赞