왜 Vertex AI를 사용하나요?
저는 LiteLLM 프록시를 통해 Discourse에서 이를 사용했습니다. 300달러 상당의 무료 보너스 크레딧을 제공합니다.
@Lilly 저도 GCP 크레딧이 있어서 Vertex를 통해 연결을 시도하고 있습니다.
@satonotdead LiteLLM 메소드를 사용할 때 지연 현상을 경험하고 계신가요?
저는 vertex를 이용해 설정해 본 적이 없어요. 대신 gemini api 서비스를 사용하면 완벽하게 잘 작동합니다. 설정 과정을 따라가 봤는데, google cloud 대시보드에서 api 및 서비스 설정이나 자격 증명 구성에 변화가 보이지 않아요. 
거기에 인용된 문서를 보셨나요? 그 문서가 무엇을 알려주나요?
저는 이걸 아예 안 써요
설정 화면의 스크린샷을 공유해 주시겠어요?
네, 이 방법은 작동하지만, 이미 가지고 있는 GCP 크레딧을 사용할 수 없게 됩니다.
음, 그러면 크레딧은 Vertex AI로 제한되는 건가요?
저는 유료 GCP를 서비스 계정과 Gemini API를 함께 사용 중인데, 아주 간단합니다.
네, 크레딧은 Vertex 메서드에서만 작동합니다. GCP에 로그인하여 Vertex AI는 사용할 수 있지만, GCP가 허용하는 인증 방식과 Discourse가 따르는 방식 사이에 불일치가 있어서(제 이해로는) Discourse와 연결할 수 없습니다. 그래서 당분간 LiteLLM 프록시를 만들었지만, 이 방식은 일부 지연이 발생합니다.
전혀 그렇지 않습니다. 또한 Vertex에서 토큰 로그인을 회전시키기 위한 스크립트와 함께 Nginx 내부 프록시도 사용했습니다.
LiteLLM은 더 많은 키, MCP 서버를 배포할 계획이 있거나 더 많은 LLM 엔드포인트를 사용하려는 경우 정말 좋습니다.
거의 모든 구독 등급을 LLM API로 사용할 수 있습니다.
가벼운 모델로 전환했는데, 이제 지연이 없어요. 감사합니다.
LiteLLM 워크어라운드가 잘 작동하므로, Vertex 방식은 작동하지 않는다는 점을 인지하고 이 주제를 닫겠습니다.
