APIの価格設定は、API呼び出しごとに料金が発生するのに対し、TGIを実行する場合はサーバー稼働時間ごとに料金が発生するため、単一のインスタンスではAPI価格を上回るのは難しいでしょう。
例えば、g6.xlargeでLlama 3.1 8Bを実行する場合、月額約600ドルかかります。これは、Anthropic Claude 3.5 Haikuの約4億5000万トークンに相当します。
独自のLLMを実行することが理にかなうのは、プライバシーまたはスケーラビリティが必要な場合です。
「いいね！」 5