LLMの使用状況が表示されない

見出しにあるように、[Usage]タブはどの機能がどのモデルを使用しているかを把握するのに役立つはずです。しかし、設定済みのLLM名がリストされる代わりに、モデルIDがリストされています。

この例を見てください。[Usage]は[All Models] → [gemini-flash-latest]および[gemini-flash-lite-latest]の下に表示されています。
image

[Configured LLM’s]ページを見ると、そのような名前は表示されません。

image

したがって、使用状況の情報が設定済みのLLMごとであるのか、それともLLMモデルIDごとであるのかさえ不明です。複数の設定済みLLM(異なるキーとプロジェクトを使用)を使用する目的は、1つの機能が過剰なリクエストやトークンを消費した場合に、他の機能が中断されないようにLLMの負荷を回避することです。

機能全体にわたるべきですが、ここで報告されていることは理解できます。
同じモデルを指す複数のLLMを作成し、それを分割したいと考えているのですね。興味深いユースケースです。カウントは正しいでしょうが、期待通りの分割が得られない可能性があります。
これを整理する方法を検討します。

「いいね!」 2

これで対応できました。レポートは最新版に更新されるはずです:chefs_kiss:。

とはいえ、過去には適切なストレージがなく(監査ログにllm_idを保存していなかったため)、レポートが完全に正確になるのは今後からです。

「いいね!」 1

このトピックは4日後に自動的にクローズされました。新しい返信は許可されていません。