사용량에 LLM 모델이 표시되지 않음

[RBoy]

제목에서 알 수 있듯이, Usage(사용량) 탭은 어떤 기능이 어떤 모델을 사용 중인지 파악하는 데 도움이 되어야 합니다. 하지만 구성된 LLM 이름 대신 모델 ID가 나열되고 있습니다.

아래 예시를 참고해 주세요. Usage는 All Models(모든 모델) → gemini-flash-latest 및 gemini-flash-lite-latest 아래에 표시되고 있습니다.

구성된 LLM(Configured LLM) 페이지를 확인해 보면 해당 이름이 어디에도 보이지 않습니다.

그래서 이제 사용량 정보가 구성된 LLM별로 집계되는지, 아니면 LLM 모델 ID별로 집계되는지조차 명확하지 않습니다. 여러 구성된 LLM(서로 다른 키와 프로젝트를 사용하여)을 사용하는 목적은, 특정 기능이 너무 많은 요청이나 토큰을 사용하더라도 다른 기능에 장애가 발생하지 않도록 LLM에 과부하가 걸리는 것을 방지하기 위해서입니다.

[sam (Sam Saffron)]

기능 간에 적용되어야 하지만, 여기서 보고하신 내용을 이해합니다.

같은 모델을 가리키는 중복된 LLM을 생성하고, 이를 해당 기준으로 세분화하기를 원하시네요. 흥미로운 사용 사례입니다. 카운트는 정확할 수 있지만, 원하시는 분할 결과가 나오지 않을 수 있습니다.

이를 정리할 방법을 검토해 보겠습니다.

[sam (Sam Saffron)]

이제 해결되었습니다. 보고서에는 최신 버전으로 업데이트해야 합니다.

다만, 과거에는 적절한 저장소가 없었기 때문에(감사 로그에 llm_id를 저장하지 않았습니다) 앞으로는 보고서가 100% 정확할 것입니다.