Bei einer einzelnen Instanz ist es schwer, die API-Preise zu unterbieten, da Sie bei API-Preisen pro Aufruf bezahlen, während Sie beim Ausführen von TGI pro Stunde bezahlen, in der der Server läuft.
Nehmen wir an, Sie führen Llama 3.1 8B auf einem g6.xlarge aus. Das kostet Sie ungefähr 600 US-Dollar pro Monat. Dies könnte Ihnen etwa 450 Millionen Tokens in Anthropic Claude 3.5 Haiku einbringen.
Das Ausführen Ihres eigenen LLM ist sinnvoll, wenn Sie entweder Privatsphäre oder Skalierbarkeit benötigen.