关于摘要的反馈。这看起来很有希望 
弹出窗口不够宽
请注意，gpt-3.5 现在有一个 16k 令牌限制的版本，这可能非常相关。
现在是我希望看到的两个杀手级功能：
我们目前使用的是一个简单的提示（当选择 OpenAI 或 Anthropic 时），但很快就会更改，因为我们目前正在处理这个问题。
自定义提示是一个有趣的功能，我们将来可能会添加。
本周我们刚刚将其设置为至少有一条回复的帖子才显示。
我们在 OpenAI 大型上下文模型发布当天就添加了它们。目前您可以选择：
我们正在进行缓存生成的摘要的工作，以便它们可以在其他地方使用，这将解锁此类功能。
我的网站上没有看到这个，有什么设置可以控制它吗？
更多建议：
这是我们本周刚做的一个更改，所以它将在未来几天内推送到您的网站。
这里的“管道”是什么意思？
正如您在这里 Meta 上看到的，我们已经这样做了。旧摘要现在称为“显示热门回复”。我们仍在处理按钮的设计和顺序。
这在我们未来的计划中！
这是通过以下方式完成的：
配置起来相当麻烦，因为您需要创建大量部署，但它的确运行良好。
已编辑
使用 Gemini 1.5 Flash 时，摘要通常包含指向多个帖子的链接，但多个链接未被渲染为链接。我不记得看到其他模型尝试使用多个链接。
指向单个帖子的链接可以正常渲染。
相应的响应负载包含此文本：
[Username redacted](/t/-/56915/8, /t/-/56915/13, /t/-/56915/28, /t/-/56915/33, /t/-/56915/36)
如果可以正常渲染，我真的很喜欢引用多个链接的想法。
嗯，那只是无效的 markdown，所以它不起作用。
可惜 Gemini Flash 无法生成有效的 markdown，我们在 Meta 上使用 Llama 3.1 量化到 FP8 进行摘要，它可以很好地处理生成正确的 markdown 链接。
而且 haiku 似乎无法返回有效的状态码。这是我到目前为止尝试用于摘要的两个。接下来我将尝试 Llama 3.1。
我不知道您是否会考虑修补已知问题，例如检查星期一和这个特定的 markdown。我知道这并不理想，但可能比失去其他优秀的 LLM 选项要好。
您可以在 https://discuss.ai.google.dev/ 看到无效的摘要吗？
我们正在那里使用 flash，如果您能给我链接几个，我很乐意做一些提示工程。
这看起来很容易修复，因为我们可以改进这里的示例，目前提示是：
你是一个先进的摘要机器人，可以对提供的文本生成简洁、连贯的摘要。\n\n- 只包含摘要，不包含任何额外评论。\n- 你理解并生成 Discourse 论坛 Markdown；包括链接、_斜体_、**粗体**。\n- 保持被摘要文本的原始语言。\n- 摘要目标是 400 字或更少。\n- 每个帖子格式为“\u003cPOST_NUMBER\u003e) \u003cUSERNAME\u003e \u003cMESSAGE\u003e”\n- 使用 [NAME](/t/-/31793/POST_NUMBER) 格式引用特定的值得注意的帖子\n - 示例：链接到 sam 的第 3 篇帖子：[sam](/t/-/31793/3)\n - 示例：链接到 jane 的第 6 篇帖子：[agreed with](/t/-/31793/6)\n - 示例：链接到 joe 的第 13 篇帖子：[#13](/t/-/31793/13)\n- 格式化用户名时，请使用 @USERNMAE 或 [USERNAME](/t/-/31793/POST_NUMBER)
这感觉有点含糊。我们可以用类似这样的东西来充实它：
从根本上说，@Roman / @Falco，我们将不得不将这些提示从源代码树中移除，也许将它们放在一个 persona 中，这样社区就可以调整它们并分享更好的方法。
如果长期来看我们需要为较弱的模型提供特殊提示，我不会感到惊讶。
如果我们支持“示例”，Persona 将在这里很好地工作，这似乎并不是一个巨大的挑战。或者，我们可以将其移至 CompletionPrompt 并为其提供一个 UI。
我喜欢根据您的需求自定义提示并利用模型功能这一想法。我也认为将个性化（personas）变成一个更具功能无关性的概念是个好主意。
这基本上是我们今年一直在讨论的“persona functions”、“prepared statements”的想法。我们将把 AI Helper、Summary、Search 等所有内容移到使用它们，允许创建自定义的，并提供一个 UI 将它们与 UI 中的功能关联起来。
当我们在更新种子数据时，例如将 XML 更改为 JSON，这会变得很棘手，所以希望这是我们可以考虑明年构建的东西。
我不太明白最后几条帖子。我仍然收到无效摘要。有什么我可以针对用户画像尝试的具体操作吗？还是我需要等待你们正在讨论的重构？
4 个帖子已拆分为新主题：处理 DeepSeek JSON 响应格式问题
