那么……我对所有这些东西感觉如何？
显然，我很兴奋。我们有全新的玩具可以玩，这些玩具与我们过去拥有的任何玩具都不同。与大多数技术一样，它可以用于善或恶。
就我个人而言，我感觉自己身处人工智能的迷雾之中。我曾经对未来三到四年的发展方向有相当好的把握；然而，大型语言模型（LLM）和这项技术的未来演变却带来了麻烦。我不知道一年后情况会怎样。
当你狭隘地看待稳定扩散（stable diffusion）在过去几个月里发展的速度时，你会惊叹不已。当你审视从 GPT 3.5 到 4 的进步范围时，同样令人惊叹。
即使在人工智能的迷雾中，我确实有一些非常现实的担忧：
-
我百分之百清楚，支持论坛将被大型语言模型（LLM）吸收并用作有用聊天机器人的训练数据。这里的优点是，许多支持工作的繁重劳动可以消失，你可以立即获得答案。然而，缺点是新内容的创建会减少，这可能会很快导致死亡螺旋，除非得到缓解。
-
我确信，垃圾邮件发送者和其他不良行为者将利用这项技术，发起比我们迄今为止所见过的任何攻击都要复杂得多的攻击，如果我们不小心，可能会摧毁论坛。
-
这种辅助技术会侵蚀信任。当你阅读我写的文字时，你期望这些文字来自我。人们可以使用人工智能来做不仅仅是校对；它可以完全重塑我们的语言。想听起来像马尔科姆·格莱德威尔（Malcolm Gladwell）？没问题，你可以做到。负责任的论坛用户应该期望什么级别的标记？如果人们不再相信他们是在与人交谈，或者仅仅是在与模拟对话，他们将会放弃论坛。
用马尔科姆的话来说
在当今世界，辅助技术有能力以我们可能未曾预料到的方式侵蚀信任。作为书面文字的消费者，我们有一些期望——即我们阅读的文字是真实的，并且源自其声明的来源。然而，随着人工智能技术的出现，个人可以以超越简单校对的方式操纵书面文本。本质上，他们可以完全重塑一条信息，使其听起来像他们选择的任何人。所以，如果你曾梦想听起来像马尔科姆·格莱德威尔（Malcolm Gladwell）或任何其他知名人物，这项技术可以轻松实现。然而，这引发了关于负责任的论坛用户标记的问题。如果人们不再相信他们正在与其他人交谈，而不仅仅是计算机生成的模拟，他们很可能会完全放弃论坛。维持在线话语信任所需的标记级别是一个紧迫的问题，值得认真考虑。
- 我们过去见过搜索引擎优化（SEO）工厂论坛；我们将看到更复杂、更可怕的版本。
GPT 4 有类似的担忧
- 在论坛中使用大型语言模型（LLM）存在风险，可能导致用户产生懒惰文化，他们过度依赖人工智能技术来提供答案和见解。这可能导致论坛用户批判性思维和解决问题能力的下降。
- 在论坛中使用大型语言模型（LLM）引发了关于数据隐私和安全的伦理问题。用户可能不乐意让他们个人信息和互动被人工智能系统分析和处理，特别是如果他们不完全了解他们的数据是如何被使用的。
- 大型语言模型（LLM）在论坛中的集成可能会加剧现有的偏见和不平等，特别是如果人工智能技术是在一个有限的数据集上训练的，该数据集未能捕捉到论坛用户多样化的经验和观点。
- 大型语言模型（LLM）在论坛中的使用也可能导致话语的同质化，因为用户更有可能收到由人工智能系统生成的标准化回复，而不是来自其他人类用户的细致和多样化的反馈。这可能会扼杀论坛对话中的创造力和原创性。
- 大型语言模型（LLM）的集成可能导致人类版主和支持人员的失业，这可能对就业保障和为用户提供的支持质量产生负面影响。
尽管有这些恐惧以及更多，我仍然既兴奋又充满希望。这项技术将会有令人愉悦且极其有用的应用，我们希望在 Discourse 中探索这一点。
火已经燃起；我们在这里所能做的最好的事情就是非常谨慎地处理我们的方法和实验，并试图控制火势。我确实希望我们能控制住火势。但你知道……人工智能的迷雾……