Um bestimmte Discourse AI-Funktionen nutzen zu können, müssen Benutzer einen Anbieter für Large Language Models (LLMs) verwenden. Bitte sehen Sie sich jede KI-Funktion an, um festzustellen, welche LLMs kompatibel sind.
Wenn die Kosten ein erhebliches Anliegen sind, können Sie die Nutzungslimits direkt beim Anbieter festlegen (set usage limits right from the vendor) und ein monatliches Budget verwenden. Eine andere Möglichkeit besteht darin, nur ausgewählten Benutzern und Gruppen den Zugriff auf die KI-Funktionen zu gestatten.
Es gibt mehrere variable Faktoren, die bei der Berechnung der Kosten für die Verwendung von LLMs berücksichtigt werden müssen.
Eine vereinfachte Ansicht wäre…
- LLM-Modell und Preisgestaltung → Identifizierung des spezifischen LLM-Modells, das Sie verwenden möchten, und Ermittlung der neuesten Preisdetails für Eingabe- und Ausgabetokens.
- Eingabe-Tokens → Die durchschnittliche Länge Ihrer Eingabeaufforderungen in Tokens.
- Ausgabe-Token → Dies sind die Antworten des Modells in Tokens.
Lassen Sie uns nun das Beispiel der Nutzung des KI-Bots hier auf Meta durchgehen.
Bei dieser Berechnung wurden viele Vereinfachungen vorgenommen, wie z. B. die Token-Nutzung, die Benutzer, die den KI-Bot verwenden, und die durchschnittliche Anzahl der Anfragen. Diese Zahlen sollten nur als allgemeine Richtlinien betrachtet werden. Insbesondere da wir viel mit dem KI-Bot experimentieren.
-
Verwendung des Data Explorer, um die durchschnittlichen Anfrage-/Antwort-Tokens und alle anderen hier aufgeführten Daten zu verstehen.
-
Im Durchschnitt waren die Antwort-Tokens 3- bis 5-mal größer als die Anfrage-Tokens [1].
-
Angenommen, ein durchschnittliches Benutzeranfrage-Token beträgt 85, was weniger als einem Absatz entspricht [2]
-
Angenommen, ein durchschnittliches Antwort-Token beträgt 85 x 4 = 340 Tokens, was 3 Absätzen entspricht.
-
Mit GPT-4 Turbo von OpenAI betragen die Kosten für Eingabe-Tokens 10 /1 Mio. Tokens = 0,00001 /Token x 85 Tokens = 0,00085 $ für die Eingabe.
-
Für Ausgabetokens wären es 30,00 / 1 Mio. Tokens = 0,00003 /Token x 340 Tokens = 0,0102 $ für die Ausgabe.
-
Gesamtkosten pro Anfrage betragen 0,00085 + 0,0102 = 0,01105 $.
-
Im Februar 2024 nutzten rund 600 Benutzer den KI-Bot und stellten in diesem Monat durchschnittlich 10 Anfragen. Nehmen wir nun an, diese Zahlen sind für Ihre Community konsistent.
-
Das bedeutet, dass die Kosten für den KI-Bot im Februar 0,01105 x 600 Benutzer x 10 Anfragen = 66 betragen würden.
-
Wenn wir dies auf die jährlichen Kosten für den Betrieb des KI-Bots hochrechnen, wären das 66 x 12 = 792 für das Jahr, wenn GPT-4 Turbo als Ihr LLM der Wahl verwendet wird.
Jetzt mit GPT-4o können Sie diese Endkosten sogar noch halbieren!
Eine Schätzung basierend auf der OpenAI-Community und unserer eigenen Antwort auf das Anfrage-Token-Verhältnis ↩︎
How many words are 85 tokens? Bei der Betrachtung der durchschnittlichen Benutzeranfrage-Token-Nutzung fand ich Zahlen von nur 20 bis über 100. Ich wollte zusammenfassen, dass es mehr Anfragen in der Nähe von 100 gab und die Annahme dort ist, dass diese Anfragen eher vollständigen Sätzen entsprechen und sich auf gut durchdachte Prompts mit vielen Fragen an den Bot beziehen. ↩︎