Wie verbinde ich Google Cloud AI mit Discourse AI?
Ich habe die im Beitrag genannten Schritte befolgt:
aber das GCP-Interface hat sich geändert.
Ich habe es auch so versucht, wie hier beschrieben:
Doch ich stoße immer noch auf den folgenden Fehler:
Zurzeit nutze ich einen Workaround (Google Cloud Run → vLLM), aber die Latenz ist mit dieser Methode sehr hoch.
Kann mir jemand sagen, wie ich diesen Fehler beheben kann? Ich möchte eines der auf GCP verfügbaren KI-Modelle als Standard-LLM verwenden.
Warum nutzt ihr Vertex AI?
Ich habe es in Discourse über den LiteLLM-Proxy verwendet. Sie bieten 300 USD an kostenlosen Bonusguthaben an.
@Lilly Ich habe auch Guthaben in GCP, deshalb versuche ich, mich über Vertex zu verbinden.
@satonotdead Erlebst du bei der LiteLLM-Methode irgendwelche Latenzen?
ich habe es noch nie mit Vertex eingerichtet. Mit dem Gemini API Service funktioniert es aber einwandfrei. Ich habe die Konfiguration durchgegangen und sehe keine Änderungen im Google-Cloud-Dashboard, weder bei den APIs und Diensten noch bei der Konfiguration der Zugangsdaten. 
hast du die dort zitierte Dokumentation gesehen? Was sagt sie dir?
Ich benutze das nicht mal.
Kannst du einen Screenshot deiner Konfiguration teilen?
ich habe gerade eine neue Konfiguration für gemini flash 3.6 erstellt und musste nur den zu verwendenden API-Key setzen (in meinem Fall heißt er 2026-07-02). Ich habe nichts anderes an der Standardkonfiguration für flash 3.6 geändert und der Test war erfolgreich und lief ohne Probleme:
aber die API-Key-Credentials nutzen den gemini api service, nicht vertex.
meine GCP-Konfiguration sieht genau so aus wie das, was du in den disco-docs-Screenshots verlinkt hast (das sind Screenshots meiner GCP-Konfiguration!).
Ja, diese Methode funktioniert, aber damit kann ich die GCP-Guthaben, die ich bereits habe, nicht nutzen.
ok, sind die Credits dann also nur auf Vertex AI beschränkt?
Ich benutze einfach mein kostenpflichtiges GCP mit einem Service Account und der Gemini API – ganz unkompliziert.
Ja, Credits funktionieren nur mit der Vertex-Methode. Ich kann Vertex AI zwar nutzen, indem ich mich bei GCP anmelde, aber ich kann es nicht mit Discourse verbinden, da aus meiner Sicht eine Unstimmigkeit zwischen der von GCP akzeptierten und der von Discourse verwendeten Authentifizierungsmethode besteht. Deshalb habe ich vorerst einen LiteLLM-Proxy eingerichtet, allerdings gibt es bei dieser Methode eine gewisse Latenz.
Garnicht, und ich habe außerdem einen internen Nginx-Proxy mit einem Skript verwendet, um die Token-Anmeldung auf Vertex zu rotieren.
LiteLLM ist wirklich gut, wenn du vorhattest, mehr Keys und MCP-Server zu deployen und mehr LLM-Endpunkte nutzen möchtest.
Damit kannst du fast jedes Abo-Level als LLM-API verwenden.
Ich habe auf ein leichteres Modell umgestellt, und jetzt gibt es keine Latenz mehr. Danke.
Ich schließe dieses Thema, auch wenn die Vertex-Methode nicht funktioniert, da der LiteLLM-Workaround ausreicht.
