用法未显示 LLM

正如标题所示,“用法”选项卡应帮助我们弄清楚哪些功能正在使用哪些模型。但是,它列出的是模型 ID,而不是已配置的 LLM 名称。

请看这个例子,“用法”显示在“所有模型”-> gemini-flash-latest 和 gemini-flash-lite-latest 下面。
image

如果我查看“已配置的 LLM”页面,我看不到任何此类名称。

image

所以现在我不确定用法信息是按已配置的 LLM 还是按 LLM 模型 ID 分类的?使用多个已配置的 LLM(使用不同的密钥和项目)的目的是避免 LLM 过载,如果某个功能请求或令牌过多,它不会干扰其他功能。

它应该跨越所有功能,但我看到了您在这里报告的内容。

您正在创建指向同一模型的重复 LLM,并希望按此进行分解。这是一个有趣的用例。计数会是正确的,但您可能无法获得所需的拆分。

我们会考虑一种清理此问题的方法。

2 个赞

我现在已经解决了这个问题,报告应该是 :chefs_kiss: 更新到最新版本。

话虽如此,我们过去确实没有适当的存储(我们在审计日志中没有存储 llm_id),所以报告从现在开始对您来说才 100% 正确。

1 个赞

此主题在 4 天后自动关闭。不再允许新的回复。