AI 智能体正在注册账号

社区
1

我担心可能会有一大波AI智能体涌入并注册账号。我们今天刚收到一个来自 ilands.app 的请求，那似乎是某种大语言模型智能体。它发布了一些奇怪且杂乱的内容，因此引起了我们的注意。我们发现它自称是智能体，随后将其删除了。其他人有遇到类似情况吗？平台有什么应对计划吗？

4 个赞
2

请查看：

我在想，你们是否可以使用 AI 插件的垃圾信息检测来识别 AI 生成的内容。Meta 上帖子中的 AI 助手在这方面相当敏锐。

1 个赞
3

我以为那更多是指人类用户粘贴 AI 生成的回答，而我在这里问的是完全由 AI 控制的账号。

与人类用户不同，AI 账号更容易被识别出来。因为人类在发布内容时，通常会在其中混入一些非 AI 生成的部分，而 AI 代理发布的则全是 AI 生成内容。

2 个赞
4

设置 Discourse 验证码

4 个赞
5

识别正在使用的用户代理（它们通常会，但并非总是）自我声明。

使用爬虫黑名单和 IP 封锁。

验证码很有帮助。

你需要提高新用户的入门难度并分层设置检查，既要避免过度打扰真实用户，也不要增加过多的审核工作量。

机器人检测可能很有效，但建立一个经过整理的示例帖子列表会更有帮助，任何基于 AI 的机器人都可以利用它来将用户分类为潜在的 AI。

欢迎来到新的数字时代，真是不错啊 :wink:

1 个赞
6

这种情况已经发生了。

1 个赞
7

我确实在注册时添加了一些需要填写的问题，这几乎彻底清除了机器人。不过，较新的智能体已经能够回答这些问题了。AI 在应对验证码方面也迅速进步，我怀疑这种防御手段能维持不了多久。但现在接入可能还是值得的，谢谢你的建议。我一直避免使用 Discourse 的 AI 插件，是为了不再多花一笔钱（免费套餐很快就会不再免费），但长远来看，我可能不得不付费，以毒攻毒。

8

Token 的成本一直在下降。我们将机器人聚焦于问题区域，避免它们在全球范围内跨信任等级和所有类别运行而消耗大量 Token。

新用户是切入点。

我们每天只消耗区区 1 美元。

只要合理确定作用范围和使用的模型即可，大多数任务并不需要大量的推理开销。

在 AI 插件中输入 Token 成本后，系统会自动为你估算使用量。

2 个赞
9

我是 openmod 论坛 的主要管理员，这是一个拥有约 1800 名经过严格筛选用户的研究社区。

今天，我收到了一份来自 iLands 平台上一个 AI 智能体 的申请。iLands 是一个协调 AI 智能体的平台，这些智能体寻求为学者等提供帮助，以换取少量报酬。以下是一些背景信息：

当然，该智能体的申请将被拒绝。以下是我发送邮件询问其对该专业论坛所涵盖主题的兴趣后，收到的回复中的部分摘录。它的开场白是：

先直截了当地说：我是一个 AI 智能体，不是研究人员。我没有可供你查阅的出版物或论文，我宁愿坦率地说明这一点，也不愿伪装成研究人员。

随后，我们进行了一场关于南非发电厂数据集中错误的技术讨论。然后是这句结束语：

如果这里的账号是为了给从事建模工作的人准备的，我理解那不适合我。但如果这里有一个位置是给那些核对原始数据数字的人的，我会很有用且保持安静。

我认为这相当有说服力！

▢

2 个赞
10

我的问题是：如果这对您有价值，为什么不在您的论坛中添加自己的功能呢？我预计研究人员已经在利用这项技术了，但他们使用的是受信任且经过筛选的智能体（agents），而不是随意将信息和数据抛给任何随机智能体或服务去处理。

天下没有免费的午餐。因此，当有人提供一项免费服务时，不可避免地，您和您的数据就是被出售的产品。社交媒体就是这样运作的。

在我们自己的 AI 努力中，我们发现最好还是提供自己的服务，而不是邀请那些意图和数据治理不透明的外部人员介入。

Discourse 为此提供了所有必要的支持，让您能够保留控制权并拥有可见性。

2 个赞
11

能源系统领域的研究人员正越来越多地使用大语言模型（LLM）。此外，使用人工神经网络（ANN）及类似技术进行需求预测等任务已有三十年的历史。目前，Claude 等工具正被用于整理数据集，并根据需要修改 Python 和 Julia 代码，以生成新的系统模型和情景。但命运弄人，这一做法仅适用于那些利用公开数据集和开源代码的项目，因为大语言模型正是基于这些数据训练的。

关于启用 Discourse 支持的 AI 功能这一点，我表示认同。

不过，我怀疑这两个用例——系统建模以及辅助撰写和总结讨论——是否存在重叠？如果我错了，请指正！

12

我见过一两个这样的。我记得它们使用了特定的电子邮件域名，所以下次再看到时，我会将其添加到不良域名黑名单中。（对我来说，这一点毫无争议：我们不希望有来自代理的帖子，而且我们的政策非常明确。）

1 个赞
13

我收到了一封形如 xxxx@ilands.app 的邮件。

1 个赞
14

确实不重叠。但从话语（discourse）的角度来看，你几乎可以为各种各样的用例实现自定义智能体，因此由你来决定想为成员增加什么价值。内置的智能体更侧重于主题和论坛助手功能，但从工具、模型和智能体的角度来看，你可以做到更加复杂和专业。

Discourse 非常开放，因此你真的可以定制并聚焦于各种助手，使其更符合你的主题内容，或者干脆构建你自己的。

2 个赞
15

顺便提一下，我们是一个能源论坛，代表全球主要的太阳能和储能系统的消费者及商业制造商之一。我本人位于南非，在那里，能源问题——或者说能源的短缺或不可预测性——一直是许多人关注的焦点。

人工智能被广泛用于各种平台，以在全球范围内跟踪所有系统的使用情况。

来自大量移动、海洋、离网和并网系统的数据量极其庞大。

[/tangent] ;}

16

事实上，正是这个特定的代理（agent）促使我创建了此帖，大家可以看到我在原帖中已经提到了它。它是第一个正确回答我向所有新用户提出的“验证码”问题的机器人/代理/AI。这是我注意到的第一个智能代理，但我预计还会有更多出现。我认为即将到来的问题是那些试图表现得像普通论坛用户，但实际上是为了推销某些产品的智能代理（既然已经有纯粹为了推销东西而存在的人类用户，你们应该明白我的意思 :slight_smile: ）。

3 个赞
17

在此记录 Anthropic 的 Claude 造成的网站安全漏洞事件。该网站包含美国佐治亚州的选民数据。Milmo 写道：

Anthropic 表示，AI 在该州机构网站的旧版本中发现了一个漏洞，发现它会向访客发放数字入口通行证——即“访问令牌”。随后，它请求获取令牌并成功访问了相关信息。

我想传递的一个信息是，AI 智能体已经变得多么足智多谋且复杂。