一部の Discourse AI 機能を使用するには、大規模言語モデル (LLM) プロバイダーが必要です。互換性のある LLM については、各 AI 機能を参照してください。
コストが心配な場合は、ベンダーで直接使用制限を設定する ことや、月額予算を使用することが対策の 1 つです。別の方法として、選択したユーザーとグループのみに AI 機能へのアクセスを許可することもできます。
LLM の使用コストの計算には、考慮すべきいくつかの変動要因があります。
単純化された見方としては…
- LLM モデルと価格設定 → 使用を予定している特定の LLM モデルを特定し、入力および出力トークンの最新の価格詳細を見つけること。
- 入力トークン → トークンでの入力プロンプトの平均長。
- 出力トークン → トークンでのモデルの応答。
それでは、Meta での AI ボットの使用例を見てみましょう。
この計算では、トークン使用量、AI ボットを使用しているユーザー、および平均リクエスト数など、多くの単純化が行われています。これらの数値はあくまで一般的なガイドラインとしてのみ受け取ってください。特に、AI ボットで多くの実験を行っているためです。
-
Data Explorer を使用して、平均リクエスト/レスポンス トークンおよびその他のすべてのデータを理解する。
-
平均レスポンス トークンは、リクエスト トークンの 3 倍から 5 倍でした [1]。
-
平均ユーザーリクエスト トークンを 85 と仮定します。これは 1 パラグラフ未満に相当します [2]
-
平均レスポンス トークンを 85 x 4 = 340 トークン (3 パラグラフ分) と仮定します。
-
OpenAI の GPT-4 Turbo を使用すると、入力トークンのコストは 10 ドル / 1M トークン = 0.00001 ドル / トークン x 85 トークン = 入力で 0.00085 ドルになります。
-
出力トークンについては、30.00 ドル / 1M トークン = 0.00003 ドル / トークン x 340 トークン = 出力で 0.0102 ドルになります。
-
リクエストあたりの合計コストは 0.00085 ドル + 0.0102 ドル = 0.01105 ドルです。
-
2024 年 2 月には、約 600 人のユーザーが AI ボットを使用し、その月あたり平均 10 件のリクエストを行いました。これらの数値があなたのコミュニティでも同様であると仮定します。
-
これは、2 月の AI ボットのコストが 0.01105 ドル x 600 ユーザー x 10 リクエスト = 66 ドルになることを意味します。
-
これを 1 年間の AI ボット実行コストに換算すると、GPT-4 Turbo を LLM として選択した場合、年間 66 ドル x 12 = 792 ドルになります。
- GPT-4o を使用すると、最終コストをさらに半分にすることができます。*
85 トークンは何単語ですか？ 平均ユーザーリクエスト トークン使用量を見ると、20 から 100 以上の数値が見つかりました。100 に近いリクエストが多く、その仮定では、それらのリクエストは完全な文章に近い可能性があり、よく考えられたプロンプトやボットへの多くの質問を参照していると考えています。 ↩︎