Wie kann ich die Antwortzeit des Agenten beschleunigen?

Welche Einstellungen empfiehlst du anzupassen oder zu erhöhen, um die Antwortzeit zu reduzieren? Ich gehe davon aus, dass wir hier nur über eine einzelne Konversation sprechen, nicht über Dutzende gleichzeitige. Abgesehen vom Kürzen des Prompts/RAG scheint Thinking Effort die einzige Einstellung zu sein, die das Timing einer einzelnen Konversation wirklich beeinflusst.

Zum Hintergrund: Ich habe einen Agenten, der mit GPT Sol 6.1 ausgestattet ist und mit unserer Produktdokumentation, Artikeln aus der Knowledge Base sowie einigen „Fallen“-Fragen und -Antworten geladen ist.

Ich habe gerade erst eine Subagenten-Einstellung bemerkt. Ich frage mich, ob ich diese nutzen kann, um einige Produktversionen/Komponenten aufzuteilen und das RAG zu optimieren?

  1. Reasoning-Aufwand
    Sol on low ist sehr leistungsfähig; ich nutze es häufig für viele Aufgaben, daher würde ich damit zuerst beginnen.

  2. Service-Tier
    Discourse unterstützt auch den Service-Tier priority, der dem „Fast Mode“ entspricht und die Geschwindigkeit um das 2,5-fache erhöht. Wenn du es noch schneller haben möchtest, können wir ultrafast als Option hinzufügen.

  3. Prompt-Caching
    Verschiebe alle dynamischen Teile deines Prompts so weit wie möglich nach hinten, um den cachelbaren Anteil zu erhöhen und die Prefill-Zeit zu verkürzen.

  4. Experimentiere mit dem Kompromiss zwischen RAG + Tools und hartcodiertem Prompt
    Je nachdem, wie groß deine Wissensdatenbank (KB) ist, kann die Verwendung eines sehr großen Prompts manchmal schneller und kostengünstiger sein als das dynamische Laden von Wissen.

  5. Schnellere Tools
    Wenn du, so wie wir auf ask.discourse.com, umfangreich benutzerdefinierte Tools für dynamische Grounding-Quellen nutzt, ist es sehr vorteilhaft, diese so zu optimieren, dass sie so schnell wie möglich antworten.

  6. Kleinere Modelle
    Je nach Anwendungsfall kann ein Wechsel zu Luna die Geschwindigkeitslücke bei akzeptabler Qualität schließen.

Danke! Ich werde auf jeden Fall alles davon ausprobieren.

Gibt es Gedanken zur Wirksamkeit von Subagenten in diesem Fall? Das würde mir wirklich helfen, den RAG-Overhead zu reduzieren.

Es kann definitiv helfen, ist aber auch der arbeitsintensivste und wartungsbedürftigste Ansatz auf lange Sicht, daher würde ich ihn erst in Betracht ziehen, wenn du die einfach umsetzbaren Optionen bereits geprüft hast und es sich immer noch nicht richtig anfühlt.