# 识别搜索引擎中的AI幻觉 **URL:** \ **Category:** Feature\ **Created:** [2023年四月20日 17:25 UTC](https://meta.discourse.org/t/identify-ai-hallucinations-to-search-engines/262424 "2023-04-20T17:25:43Z")\ **Posts on this page:** 14\ **Page:** 1
**Author:** ![EricGT](https://avatars.discourse-cdn.com/v4/letter/e/f1d935/32.png) [@EricGT](https://meta.discourse.org/u/EricGT)\ **Post date:** [2023年四月20日 17:25 UTC](https://meta.discourse.org/t/identify-ai-hallucinations-to-search-engines/262424/1 "2023-04-20T17:25:43Z")
对于我们这些现在生活在公开数据中的幻觉的人来说，我们知道识别幻觉非常耗时。 因此，在思考这个问题时，我想起了，如果我们使用帖子中的“隐藏详细信息”，那么一个信誉良好的搜索引擎很有可能不会索引它。我知道这一点，因为我经常使用这个功能。 虽然“隐藏详细信息”解决了部分问题，但它隐藏了应该一目了然的信息。如果改为使用元数据标记选定的数据，注明它包含幻觉，并且元数据可以从创建时一直传递到 API 或查看器使用，以注意包含幻觉的数据，这有望解决问题。另外，还有一个像“隐藏详细信息”一样的图标选项，但用于幻觉，那将同样好。 我知道很多人会认为这不仅仅是 Discourse 的问题，我也会同意，但 Discourse 在该领域是一个足够大的实体，他们可以与其他实体组成一个小组，并制定一个标准来解决这个问题，因为随着时间的推移，这个问题只会变得更糟。 🙂 ---
**Author:** ![awesomerobot](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/awesomerobot/32/142900_2.png) [@awesomerobot](https://meta.discourse.org/u/awesomerobot)\ **Post date:** [2023年四月20日 21:05 UTC](https://meta.discourse.org/t/identify-ai-hallucinations-to-search-engines/262424/2 "2023-04-20T21:05:30Z")
你能假设你指的是人工智能产生的错误数据相关的幻觉吗？将这些数据与人类产生的误导性数据区别对待有什么好处吗？我们是否已经到了人们将这些数据视为比人类发帖者更权威的地步？ ---
**Author:** ![EricGT](https://avatars.discourse-cdn.com/v4/letter/e/f1d935/32.png) [@EricGT](https://meta.discourse.org/u/EricGT)\ **Post date:** [2023年四月20日 23:12 UTC](https://meta.discourse.org/t/identify-ai-hallucinations-to-search-engines/262424/3 "2023-04-20T23:12:14Z")
感谢您花时间阅读本文并提出有意义的问题。 > [@awesomerobot](#): > > 我们可以假设您指的是人工智能产生的错误数据吗？ 是的！ > [@awesomerobot](#): > > 将这些数据与人类产生的误导性数据区别对待有任何好处吗？ 目前没有。 但是，如果您有公司律师的帮助，那么咨询他们可能会有益。这是各国政府正在考虑制定法律的事项之一，虽然我不是律师，但在法律制定之前向政府提出计划，总比法律制定后不得不遵守要好。 > [@awesomerobot](#): > > 我们是否已经到了人们将这些数据视为比人类发帖者更权威的程度？ 是的，许多研究人员曾认为引文是真实的，直到他们找不到它们。我不收集这些信息，但如果您愿意，我可以留意并记录下来。 > **[Schumacher family to take legal action over fake AI interview](https://www.espn.com/f1/story/_/id/36235366/michael-schumacher-family-take-legal-action-fake-ai-interview)** > > Michael Schumacher's family plans to take legal action against a German magazine that ran an AI-generated interview with the Formula One legend. [AI 生成的照片获奖！](https://gamerscave.net/ai-image-wins-award/?ref=emergentmind) 我明白您的意思，但那不是我应该问的问题。也许可以问这些问题。 人们是否意识到人工智能现在正在生成听起来正确但实际上并非如此的类人文本？ 人们是否意识到人工智能正在生成人们确信是由人类创作，甚至看起来像是用相机拍摄，但实际上是人工智能生成的图像？ 像研究人员、教师和其他关心事实信息的人是否希望知道幻觉是否被标记为如此，并带有元数据？或者是否来自已知会产生幻觉的来源？ 一个更大的问题是那些会利用这些不知情的人。如果数据被标记为幻觉，并且数据被清除了元标签，那么我不惊讶律师可以利用这一点来证明其意图。 再次感谢您的关注。目前我没有计划进一步推进此事，因为您似乎已经明白了，但如果您有其他问题，我很乐意回答。我个人宁愿生活在一个我们不需要垃圾邮件过滤器、病毒扫描程序，现在似乎还需要幻觉检查的世界里，因为人们想滥用这项技术。 🙂 ---
**Author:** ![simon](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/simon/32/339122_2.png) [@simon](https://meta.discourse.org/u/simon)\ **Post date:** [2023年四月21日 00:41 UTC](https://meta.discourse.org/t/identify-ai-hallucinations-to-search-engines/262424/4 "2023-04-21T00:41:47Z")
> [@EricGT](#): > > 我知道很多人会认为这不仅仅是 Discourse 的问题，我同意这一点，但 Discourse 在该领域足够强大，可以与其他实体组成一个小组并制定标准来解决这个问题，因为随着时间的推移，这个问题只会变得更糟。 我对人工智能的一个担忧是，随着人工智能在由人工智能生成的数据上进行训练，信息将变得越来越稀释。为了避免这种情况，在互联网上训练大型语言模型的组织了解他们正在训练大型语言模型的数据是如何生成的，可能符合他们的利益。某种标准可能对此很有用。例如，我不想看到大型语言模型依赖 ChatGPT 对“对于中级山地自行车手来说，那乃莫最适合的山地自行车道是什么？”的回答，将其作为那乃莫山地自行车运动的权威数据。 ---
**Author:** ![supermathie](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/supermathie/32/507518_2.png) [@supermathie](https://meta.discourse.org/u/supermathie)\ **Post date:** [2023年四月21日 00:41 UTC](https://meta.discourse.org/t/identify-ai-hallucinations-to-search-engines/262424/5 "2023-04-21T00:41:49Z")
> [@EricGT](#): > > 幻觉检查 说到这里，与其纠缠于关于计算机生成文本的争论，不如更直接地描述数据本身是什么，特别是当与可能没有背景信息的受众讨论时。 将你自己的偏见（无论真假）嵌入问题中有些不诚实。 例如： > 有一种方便的标准方法来区分由生成语言模型（计算机人工智能）编写的文本。 我们已经有一些方法了，例如：@discobot roll 4d6 在没有明确作者的情况下，适当的引用可能是最好的方法。 ---
**Author:** ![discobot](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/discobot/32/68978_2.png) [@discobot](https://meta.discourse.org/u/discobot)\ **Post date:** [2023年四月21日 00:41 UTC](https://meta.discourse.org/t/identify-ai-hallucinations-to-search-engines/262424/6 "2023-04-21T00:41:51Z")
> 🎲 4, 6, 4, 5 ---
**Author:** ![merefield](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/merefield/32/176214_2.png) [@merefield](https://meta.discourse.org/u/merefield)\ **Post date:** [2023年四月21日 06:42 UTC](https://meta.discourse.org/t/identify-ai-hallucinations-to-search-engines/262424/7 "2023-04-21T06:42:03Z")
是的，公众已经陷入了将 ChatGPT 视为搜索引擎的陷阱，认为它能提供相当确定的结果。 当然，它不是：它是一个专业的骗子！ 《60 分钟》节目要求 ChatGPT 推荐关于通货膨胀对经济影响的书籍。它尽职尽责地回应了六本书的书名和作者：但这些书都不存在！ 我曾两次问 ChatGPT 是否有人在古德伍德速度节上死亡。 它两次都告诉我只发生过一次，但每次给出的年份和姓名都不同。 这是一个巨大的局限性，绝对是个问题。 它是一个很棒的工具，但目前如果没有合适的插件，你不应该用它来搜索。 ---
**Author:** ![RGJ](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/rgj/32/523185_2.png) [@RGJ](https://meta.discourse.org/u/RGJ)\ **Post date:** [2023年四月21日 07:11 UTC](https://meta.discourse.org/t/identify-ai-hallucinations-to-search-engines/262424/8 "2023-04-21T07:11:37Z")
在浏览包含生成内容（无论是用户生成内容还是人工智能生成内容）的论坛时，应由查看者/消费者自行谨慎。 论坛所有者永远不会/不应承担其论坛上发布的所有生成内容的责任，因为承担该责任也意味着承担法律责任。通过将特定帖子标记为“事实不正确”，论坛所有者可能会无意中暗示所有未标记的帖子都是“事实正确”的，这可能会导致严重问题。 这引出了我的观点，即评估论坛帖子中信息的 factual correctness（事实正确性）和 practical usability（实际可用性）是消费者的责任，而不是发布者的责任。 ---
**Author:** ![EricGT](https://avatars.discourse-cdn.com/v4/letter/e/f1d935/32.png) [@EricGT](https://meta.discourse.org/u/EricGT)\ **Post date:** [2023年四月21日 08:51 UTC](https://meta.discourse.org/t/identify-ai-hallucinations-to-search-engines/262424/9 "2023-04-21T08:51:58Z")
> [@RGJ](#): > > 论坛所有者永远不会/不应该对其论坛上发布的所有生成内容负责，因为承担该责任也意味着承担法律责任。 如果这是对我的回应，那么您没有理解该功能的作用。 该功能将使用户能够识别任何数据中可能包含幻觉的部分。我也不是要求任何实体承担识别此类内容的责任，而是让用户在创建此类内容时，能够通过元数据来识别它可能包含幻觉。因此，提到了“隐藏详情”，用户可以选择在需要时使用它，并且它只适用于用户选择的任意数量的内容，甚至可以在同一回复中使用多次。 ---
**Author:** ![merefield](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/merefield/32/176214_2.png) [@merefield](https://meta.discourse.org/u/merefield)\ **Post date:** [2023年四月21日 09:31 UTC](https://meta.discourse.org/t/identify-ai-hallucinations-to-search-engines/262424/10 "2023-04-21T09:31:29Z")
> [@EricGT](#): > > 该功能将使用户能够识别任何数据中可能包含幻觉的部分。 你难道不只是在要求一个事实核查员吗？ 因此，无论来源如何（主要是因为你不知道），你都想审查帖子中的虚假信息。 讽刺的是，我可以想象解决方案可能会使用人工智能来完成一些自然语言处理任务，但这离题了…… 这里不幸的潜在复杂性在于，它在处理政治偏见或涉及意识形态或教条的领域时会遇到困难，例如在医学的某些领域，那里没有确凿的事实可循。 但我可以清楚地看到，确认一个明显的事实可能很简单，例如，一个著名人物的出生日期和地点。这肯定可以而且应该自动化吗？ 这绝对是一个值得关注的有趣领域！ ---
**Author:** ![EricGT](https://avatars.discourse-cdn.com/v4/letter/e/f1d935/32.png) [@EricGT](https://meta.discourse.org/u/EricGT)\ **Post date:** [2023年四月21日 10:06 UTC](https://meta.discourse.org/t/identify-ai-hallucinations-to-search-engines/262424/11 "2023-04-21T10:06:53Z")
没想到对功能请求有这么多、如此多样的回复，通常发布后它们就会被搁置，积满灰尘，非常感谢这些回复。 下面是与此相关的两个场景的演练，希望能让您更好地理解该功能请求。 1. 用户识别出幻觉 用户使用 LLM（例如 ChatGPT）获取有关格里高利圣歌的信息。他们将 ChatGPT 的完成内容粘贴到 Discourse 的回复中。对于回复/完成内容中存在幻觉的部分，用户会选择数据，单击幻觉图标，然后该部分的元数据（例如 [HTML span](https://www.w3schools.com/tags/tag_span.asp) 或类似内容）将更新为显示该跨度包含幻觉。 跨度可以像命令行选项一样小。对于 ChatGPT 生成的此命令行： > gregorio -i --gregfont=“Caeciliae” myfile.gabc `gregfont` 选项似乎是一个幻觉，因此此部分应标记为 `--gregfont="Caeciliae"` 作为幻觉。 如果有人在注释前后检查 HTML，就会看到类似这样的内容： 之前 ```html 
   gregorio -i --gregfont="Caeciliae" myfile.gabc
``` 之后 ```html 
   gregorio -i --gregfont="Caeciliae" myfile.gabc
``` 1. API 消耗包含幻觉的数据 用户正在搜索用于创建格里高利圣歌乐谱的命令行，他们调整查询以不包含幻觉。当搜索引擎生成结果时，它会找到一个包含命令的页面： > gregorio -i --gregfont=“Caeciliae” myfile.gabc 然后，搜索引擎会检查页面上的命令行，并找到特别值得注意的那个。然后，搜索引擎会检查命令行是否包含幻觉，并找到带有幻觉的 span 元素，从而不在搜索结果中包含该幻觉。 * * * 显然，可以为 Chrome 等工具创建插件来添加所需的 span，但还需要一种标准（例如 [RFC](https://en.wikipedia.org/wiki/Request_for_Comments)）来定义元数据，使其可用于 API 的[解析](https://en.wikipedia.org/wiki/Parsing)。 上面的场景仅用于识别幻觉的[标量](https://en.wikipedia.org/wiki/Scalar_processor#Scalar_data_type)，但元数据可能更复杂，例如 [JSON](https://en.wikipedia.org/wiki/Scalar_processor#Scalar_data_type) 或[代数数据类型](https://en.wikipedia.org/wiki/Algebraic_data_type)。 * * * 格里高利参考 > **[Gregorio project website](https://gregorio-project.github.io/introduction-commandline.html)** > > Free software for typesetting Gregorian chant > **[GitHub - gregorio-project/gregorio: The Gregorio Project](https://github.com/gregorio-project/gregorio)** > > The Gregorio Project ---
**Author:** ![Ed\_S](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/ed_s/32/134015_2.png) [@Ed\_S](https://meta.discourse.org/u/Ed_S)\ **Post date:** [2023年四月21日 10:31 UTC](https://meta.discourse.org/t/identify-ai-hallucinations-to-search-engines/262424/12 "2023-04-21T10:31:00Z")
在我看来，这是对一个在某些社区有用但在所有社区都无用的功能提出的请求。 我个人很乐意看到机器生成文本始终隐藏在类似“剧透”的机制中：我想知道它是什么，并且我想在投入时间阅读它之前就知道。 这也将是一个在本地规则中加入内容的机会：未能区分你的机器生成文本将是一种可标记的违规行为。 将机器生成文本放在类似“剧透”的机制中，也允许发帖人添加一些评论或描述：他们可能因为文本错误得有趣，或者错误得有教育意义，或者因为它很有用而包含它。 未来语言模型部分基于旧语言模型输出来训练的问题……这可能是一个大问题，比“剧透”标签还要大。 ---
**Author:** ![merefield](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/merefield/32/176214_2.png) [@merefield](https://meta.discourse.org/u/merefield)\ **Post date:** [2023年四月21日 10:37 UTC](https://meta.discourse.org/t/identify-ai-hallucinations-to-search-engines/262424/13 "2023-04-21T10:37:38Z")
这都很好，但第一步无疑是将其识别为机器生成的？鉴于你对一些用户一无所知…… 这可能是不可能的，你所能做的就是以某种方式检查准确性…… ---
**Author:** ![Ed\_S](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/ed_s/32/134015_2.png) [@Ed\_S](https://meta.discourse.org/u/Ed_S)\ **Post date:** [2023年四月21日 13:26 UTC](https://meta.discourse.org/t/identify-ai-hallucinations-to-search-engines/262424/14 "2023-04-21T13:26:27Z")
我的想法是，这是一个审核问题。有些文本看起来不对劲，经过查询后，会被标记为“机器生成的但未标记”，或者标记为“疑似垃圾邮件”。 我认为有些人正在尝试创建可以检测机器生成文本的服务，但我不知道它们有多有效，或者成本会有多高。在教育领域，这涉及到作弊，存在检测它的动机。