AIボット・AI HelperのユーザーグループAI利用にハードキャップ機能を導入すべきか

特徴
, , ,
1

計算を行った結果、ユーザーの月間または日間のトークン入力と出力を制限する機能がないと、すぐに問題が発生する可能性があるという結論に至りました。現在、AIボットによるユーザーのインタラクションを制限する唯一の方法は、AIボットをプライベートメッセージのみで利用可能にし（各ペルソナのチャットを無効にする）、1日のプライベートメッセージ数を制限することですが、これは現実的ではありません。以下に、この機能の必要性を正当化する「最悪のシナリオ」のコスト内訳例を、OpenAIがChatGPTメンバーに提供しているアプローチを使用して示します。

GPT-4o mini（32kコンテキスト）（追記：コンテキスト長は、LLM設定ページの「プロンプトのトークン数」設定で設定されます）

現在のコスト：1M入力あたり$0.15 / 1M出力あたり$0.60

ユーザーが1日あたり32kを入力し、16kを出力すると仮定します（典型的なサブスクリプションの請求サイクルである30日間）：

月間入力コスト = 960,000トークン = 約$0.14

月間出力コスト = 480,000トークン = 約$0.28

さて、これは実際にはそれほど悪くないですよね？半ドル未満です。しかし、これは実際にはかなり低い使用量です。特にGPT-4o miniは一度に最大16.4kトークンを生成できるため（ただし、プロンプトとLLM設定を工夫してそれを防ぐことはもちろん可能です）。AIボットの使用量をどれだけ想定するかによって、これらのコストを掛け合わせることができます。最も悪いのは、これが非常に安価なモデルであることです。Claude 3.5 Sonnet（1M入力あたり$3 / 1M出力あたり$15）やGPT-4o（1M入力あたり$5 / 1M出力あたり$15）では、コストは指数関数的に高くなります。GPT-4 Turboについては言うまでもありません。Claude 3.5 Sonnetでの同じ内訳を以下に示します。

Claude 3.5 Sonnet（32kコンテキスト）

月間入力コスト = 約$2.88

月間出力コスト = 約$7.20

合計 = 約$10.08

しかし、これもまた低使用量です。AIボットでの無制限のLLM使用がいかに高価になるかが明らかになります。これを2倍にすると、わずか5ドル弱の利益を上げるために25ドルのサブスクリプションを請求する必要があるでしょう😬

:bullseye: ここに正式に提案します：

  1. AIボットの特定のユーザーグループに対して、月間または日間のトークン入力と出力の量を指定できる設定。
  • このトークン使用量には、ペルソナのシステムプロンプトは含まれません。
  • トークン制限は、LLMごと、ペルソナごと、または全体/すべてで設定できます。
  1. ポイント1の代替案として、DMおよびPMでのAIボットの使用に対する単純な整数制限を使用できます。例：1日の任意のペルソナへのDM制限を100件。
  2. AIヘルパーの特定のユーザーグループに対して、月間または日間のトークン出力量を指定できる設定。
  • トークン入力は、たとえば要約を生成する場合に、ユーザーが長いトピックのトークン数を推測することを期待するのは非現実的であるため、カウントしないことができます。
  • また、ユーザーがComposerを無制限のチャットボットとして回避しようとするのを防ぐために、カスタムプロンプトの長さ（TikTokenを使用しないように単語数で）にハード整数制限を設けることも賢明かもしれません😎
  1. ユーザーのプロフィール、および可能であればPMおよびDMでのトークンカウンター。各ユーザーとAIメッセージの隣に、それが何トークンであるかを示す小さなテキストが表示されるとクールです（全員にデバッグ機能を提供したくない場合があり、それはPMでしか機能しません）。
  • AIヘルパー用の個別のトークンカウンター（これらの2つの機能を分離するのに役立ちます）は、説明、校正、カスタムプロンプトなどでカウントを共有します…

補足：この機能や開発者について決して批判しているわけではなく、もしそう聞こえたら謝罪します。正直なところ、Discourse AIプラグインは私のこれまでの人生で最高のテクノロジーの1つです。実際、追加のエンジニアを雇用したり、追加のインフラストラクチャに費用をかけたりすることなく、AI研究者および教育者としての私の夢のビジネスを構築することを可能にしています。すべて自分で設定できます❤️。私は、この機能が私だけでなく、多くの他のDiscoursersにとって、この素晴らしいテクノロジーを合理的な範囲でユーザーに楽しんでもらいたいと考えている人々にとって、パズルの最後のピースであると単に考えています。

「いいね！」 1
2

これは、Discourse Chatbot で23年3月に週ごとのクォータシステムとして実装され、その後、3つの異なるユーザーグループのコレクションに対してクォータを定義できるように拡張されました。たとえば、有料会員はより高いクォータを取得できます。

週ごとのクォータを超過したユーザーには、丁寧なメッセージが表示されます（費用はかかりません）。

さらに、管理者はクォータが超過されたときにアラートを受け取ることができます。

このトピックに関する以前の投稿の1つに応答して、PMでご連絡しましたが、返信がありませんでした :thinking: おそらく、ホスティングされており、私のプラグインにアクセスできないのでしょうか？

率直に言って、GPT 4o-miniの登場により、まともなボット会話のコストは激減しました。

ちなみに、Discourse Chatbotは、少なくとも1つのビジネスで最前線のカスタマーサポートに使用されています。そのため、安定していて効果的であることは確かです。

「いいね！」 2
3

返信が遅れて申し訳ありません！読みましたが、なぜ返信しなかったのか全く分かりません😵‍💫。私はドロップレットを使用しているので、それは問題ではありません。

その安定性と品質については疑いの余地はありません。実際、私はそのプラグインをかなり気に入っており、あなたとそれに注いだ努力を尊敬しています。しかし、チャットボットは私のビジネスベンチャーにとっての部分的なニーズにすぎません。AI Helperは中核的な必要事項であり、モデル間を即座に切り替える能力も同様です。近い将来、独自のファインチューニングモデルを展開し、LLMを手動でセットアップする予定であり、これはミッションクリティカルです。

これらすべてを説明しているのは、あなたの仕事に対して何か反対していると思われないようにするためです！:grin:むしろ、問題は私側にあります。私は非常にニッチなことをやろうとしています。

「いいね！」 1
4

はい、リクエストの範囲がより広いことは完全に理解しています :+1:

一部ですが（それでも重要な）解決策を提案しているだけです。

「いいね！」 1
5

これは今週中にリリースされる予定です。

「いいね！」 6
6

これは素晴らしいです！

以下の詳細では、これは、合計トークンとリクエストがグループ内のすべてのユーザー間で共有されることを意味しますか、それともグループ内の各ユーザーが個別に設定された量を利用できることを意味しますか？

このシステムは、管理者がグループごとに合計トークンとリクエスト数の制限を定義できるようにすることで、LLM APIの使用状況を詳細に制御できます。

7

UIでこれを明確にする必要があります…すべての制限はユーザーごとであり、グループメンバー間で共有されることはありません。共有グループのクォータ制限は興味深い概念ですが、実際には意味があるのでしょうか？これが役立つような状況を考えられますか？

今のところ、私の実装は次のとおりです。

  • ユーザーが所属するグループに応じて、ユーザーが持つ最も「緩和された」クォータを選択します
  • ユーザーごとに強制します。

（これにより、TL2に厳格なクォータがあっても、管理者は免除されます）

8

実用的ではないと本当に思っていたので質問しました😄。私の考えでは、あなたの実装が最も理想的です。私のコミュニティと私は、ここで行われている作業に心から感謝しています❤️

「いいね！」 1
9

「絶対クォータ」の1つの議論は次のとおりです。

Tl1がAIとプレイできるようにしたいのですが…安全策として、1日あたりの支出をN$に制限します。Tl1のメンバー数は不明です。

しかし、人々が求めているのがそれなら、Anthropic / Open AIなどのダッシュボードに直接絶対クォータを設定できると思います。

後で絶対クォータを追加することに反対しているわけではありませんが、おそらくこのイテレーションではスキップします。

「いいね！」 2
10

@sam 素晴らしいアップデートですね :partying_face: トークン制限はサブスクリプションに紐づきますか？ 使用量を管理し、より高価なモデルを料金で利用できるようにできれば素晴らしいと思います。

11

はい、このシステムで機能します。ユーザーのグループごとに異なるクォータを設定できます。

「いいね！」 2
12

これは実装され、文書化されました。

「いいね！」 2
13

このトピックは5日後に自動的に閉じられました。返信はもう許可されていません。