HTML 注释也会包含在摘要中。
由于查看摘要的用户可能无法看到这些注释,我认为最好将注释从摘要中排除。
3 个赞
不好意思。我注意到这个评论,是因为模型的表现不错。
该帖子包含一个示例 HTML 注释(),以说明问题。はこん
标记为 #wontfix,因为我不确定这是否值得以额外的预处理内容为代价。
如果这在您的实例中让您感到困扰,您可以更改摘要代理的属性,指示其忽略这些内容。
5 个赞
这种行为是否引入了一个隐蔽通道,使得恶意帖子能够在没有任何可见迹象的情况下影响摘要?
3 个赞
这就是为什么大型语言模型(LLMs)将提示词分为系统提示和用户提示,以便区分安全和不安全的输入。
不过,确实存在这种可能性,尤其是在较小和较旧的模型中。
2 个赞
但据我理解,这些并非具体的机制,而只是(充其量)一种影响。因此,越狱攻击层出不穷。所以,如果你在意模型的输出结果,那么向大语言模型展示什么文本确实至关重要。