Discourse AIでのLLM使用量 quotaの設定

:bookmark: このガイドでは、Discourse AI で大規模言語モデル (LLM) の使用割り当てを構成および管理する方法について説明します。

:person_raising_hand: 必要なユーザーレベル: 管理者

まとめ

LLM 使用割り当てにより、管理者はトークン使用量と対話に制限を設定することで、AI リソースの消費を制御および監視し、さまざまなユーザー グループの AI リソース消費を管理できます。これにより、コスト効率を維持しながら、コミュニティ全体で AI 機能への公平なアクセスを確保できます。

設定

割り当て設定へのアクセス

  1. サイトの管理パネルに移動します。
  2. 管理 > プラグイン > Discourse AI > LLM モデル に移動します。
  3. 設定したい LLM モデルを選択します。

割り当ての設定

ユーザー グループごとに、次の設定が可能です。

  • 最大トークン使用量
  • および/または最大 AI 対話数
  • リセット期間

期間オプション

プリセットのリセット期間から選択します。

  • 1 時間
  • 6 時間
  • 24 時間
  • 7 日
  • カスタム期間(時間単位で指定)

使用状況の監視

統計の表示

管理者は、トークン消費量と使用量消費量を次の場所で監視できます: https://SITENAME/admin/plugins/discourse-ai/ai-usage

  1. 管理 > プラグイン > Discourse AI に移動します。
  2. 「使用状況」タブを選択します。
  3. 日付範囲、ユーザー グループ、または特定のメトリックでフィルタリングします。

ユーザーエクスペリエンス

割り当て通知

ユーザーは、割り当て制限に近づいたり、達したりすると、明確なフィードバックを受け取ります。

  • 現在の使用状況
  • 次回の割り当てリセットまでの時間

エラーメッセージ

割り当てを超過すると、ユーザーには次のものが表示されます。

  • 割り当て制限に達したことを示す明確な通知
  • 次回の割り当てリセットまでの残り時間

ベストプラクティス

  1. 控えめに開始する: 低い割り当てから始め、実際の使用パターンに基づいて調整します。
  2. グループベースの割り当て: ユーザー グループのニーズと役割に基づいて異なる割り当てを割り当てます。
  3. 定期的な監視: 使用パターンを確認して、割り当て設定を最適化します。
  4. 明確なコミュニケーション: ユーザーに割り当て制限とリセット期間を通知します。

よくある問題と解決策

問題: ユーザーが頻繁に制限に達する

解決策: 次を検討してください。

  • 特定のグループの割り当て制限を増やす
  • リセット期間を短縮する
  • 高使用率のユーザー向けの専門グループを作成する

問題: 未使用の割り当て

解決策:

  • 割り当てを下方修正して、リソース割り当てを最適化します。
  • グループ割り当てを確認して、割り当てがユーザーのニーズと一致していることを確認します。

FAQ

Q: 割り当てを一時停止できますか?
A: はい、管理者は特定のグループまたはサイト全体に対して割り当ての強制を一時的に無効にできます。

Q: 未使用の割り当ては繰り越されますか?
A: いいえ、割り当ては各期間の終わりに完全にリセットされます。

Q: 異なる LLM モデルで異なる割り当てを設定できますか?
A: はい、各 LLM の割り当てを個別に構成できます。

Q: 1 つの LLM に対して複数の割り当てが設定されている場合はどうなりますか?
A: 割り当てはグループベースで、ユーザーごとに適用されます。ユーザーが割り当てを超過するには、すべてのグループで割り当てを超過する必要があります。つまり、管理者に非常に緩い割り当てを与え、信頼レベル 1 により制限的な割り当てを与えた場合、管理者の割り当てが管理者に適用されます。

Q: LLM に割り当てが適用されない場合はどうなりますか?
A: 特別に何も起こりません。すべての LLM 使用量はメーターなしになります。

Q: 機能ごとに異なる割り当てが必要な場合はどうなりますか?
A: Discourse AI では、同じエンドポイントに接続する複数の LLM を定義でき、必要に応じてキーを再利用することもできます。AI ヘルパーに 1 つの割り当て、AI ボットに別の割り当てを与えたい場合は、2 つの LLM を定義します。

追加リソース

「いいね!」 10

グループが特定のモデルの使用を完全に禁止することは、クォータを0に設定してもできないようです。

この設定のサポートを追加していただけますでしょうか?

申し訳ありませんが、ここで詳しく説明していただけますか。各機能はグループで制限されているため、いずれにしてもユーザーの一部にのみヘルパーを有効にすることができます。

一部のプレミアムモデルを特定のグループのみに制限したいと思います。モデルのクォータを0に設定して、特定のグループへのアクセスを無効にできると素晴らしいです。

「いいね!」 2

ええ、興味深い問題ですね。考えてみます。

「グループ1」にはGPT4oを、それ以外のユーザーにはGPT4o miniを使用するようにヘルパーを設定したいかもしれません。

現在、AIヘルパーにはモデルを1つしか選択できないため、これをサポートするにはかなりの変更が必要になります。

@Falco / @Saif / @awesomerobot、検討事項です。

「いいね!」 5