用法未显示 LLM

正如标题所示,“用法”选项卡应帮助我们弄清楚哪些功能正在使用哪些模型。但是,它列出的是模型 ID,而不是已配置的 LLM 名称。

请看这个例子,“用法”显示在“所有模型”-> gemini-flash-latest 和 gemini-flash-lite-latest 下面。
image

如果我查看“已配置的 LLM”页面,我看不到任何此类名称。

image

所以现在我不确定用法信息是按已配置的 LLM 还是按 LLM 模型 ID 分类的?使用多个已配置的 LLM(使用不同的密钥和项目)的目的是避免 LLM 过载,如果某个功能请求或令牌过多,它不会干扰其他功能。

它应该跨越所有功能,但我看到了您在这里报告的内容。

您正在创建指向同一模型的重复 LLM,并希望按此进行分解。这是一个有趣的用例。计数会是正确的,但您可能无法获得所需的拆分。

我们会考虑一种清理此问题的方法。

1 个赞