Discourse AIでのLLM使用クォータの設定

:bookmark: このガイドでは、Discourse AI における大規模言語モデル(LLM)の使用量クォータの構成と管理方法について説明します。

:person_raising_hand: 必要なユーザーレベル:管理者

概要

LLM 使用量クォータにより、管理者はトークン使用量と対話回数の制限を設定することで、AI リソースの使用を制御および監視できます。これにより、コミュニティ全体で AI 機能への公平なアクセスを確保しながら、コスト効率を維持できます。

設定

クォータ設定へのアクセス

  1. サイトの管理パネルに移動します
  2. Admin > Plugins > Discourse AI > LLMs に移動します
  3. 設定したい LLM モデルを選択します

クォータの設定

各ユーザーグループに対して、以下の項目を設定できます。

  • 最大トークン使用量
  • および/または最大 AI 対話回数
  • および/または最大コスト
  • リセット期間の長さ

各クォータに対して、最大トークン数または最大使用回数の少なくとも一方を設定する必要があります。

:notepad_spiral: 注意: 「everyone(全員)」グループにはクォータを割り当てられません。特定のグループ(信頼レベルグループやカスタムグループなど)を使用する必要があります。

期間のオプション

以下のプリセットされたリセット期間から選択できます。

  • 1 時間
  • 6 時間
  • 24 時間
  • 7 日間
  • カスタム期間(時間で指定)

使用量の監視

統計情報の表示

管理者は、https://SITENAME/admin/plugins/discourse-ai/ai-usage でトークン消費量と使用量消費量を監視できます。

  1. Admin > Plugins > Discourse AI に移動します
  2. 「Usage(使用量)」タブを選択します
  3. 日付範囲、ユーザーグループ、または特定のメトリクスでフィルタリングします

ユーザー体験

クォータ通知

ユーザーは、クォータ制限に近づいたり、制限に達したりした際に明確なフィードバックを受け取ります。

  • 現在の使用状況
  • 次のクォータリセットまでの時間

エラーメッセージ

クォータを超えた場合、ユーザーは以下を表示します。

  • クォータ制限に達したことを示す明確な通知
  • 次のクォータリセットまでの残り時間

ベストプラクティス

  1. 保守的な開始: 低いクォータから始め、実際の使用パターンに基づいて調整します
  2. グループベースの割り当て: ユーザーグループのニーズと役割に基づいて異なるクォータを割り当てます
  3. 定期的な監視: 使用パターンをレビューしてクォータ設定を最適化します
  4. 明確なコミュニケーション: ユーザーにクォータ制限とリセット期間について通知します

よくある問題と解決策

問題:ユーザーが頻繁に制限に達する

解決策: 以下を検討します。

  • 特定のグループのクォータ制限を増やす
  • リセット期間を短くする
  • 高使用量のユーザー向けの専用グループを作成する

問題:未使用のクォータ

解決策:

  • リソース配分を最適化するために制限を下げる
  • ユーザーのニーズに合ったクォータになるようグループ割り当てをレビューする

よくある質問

Q: 未使用のクォータは繰り越されますか?
A: いいえ、各期間の終了時にクォータは完全にリセットされます。

Q: 異なる LLM モデルに異なるクォータを設定できますか?
A: はい、各 LLM に対して独立してクォータを設定できます。

Q: 単一の LLM に複数のクォータが設定されている場合はどうなりますか?
A: クォータはグループベースで、ユーザーごとに適用されます。ユーザーがクォータを超えるためには、すべてのグループでクォータを超えなければなりません。つまり、管理者には非常に緩やかなクォータを、信頼レベル 1 にはより制限の厳しいクォータを割り当てた場合、管理者には管理者用のクォータが適用されます。

Q: LLM にクォータが適用されていない場合はどうなりますか?
A: 特に何も起こらず、すべての LLM 使用量は測定されません(無制限になります)。

Q: 異なる機能に異なるクォータを設定したい場合はどうすればよいですか?
A: Discourse AI では、同じエンドポイントを呼び出す複数の LLM を定義でき、必要に応じてキーを再利用することもできます。AI ヘルパーと AI エージェントに異なるクォータを割り当てたい場合は、2 つの LLM を定義してください。

Q: クォータを削除するにはどうすればよいですか?
A: LLM モデルの設定ページからクォータを削除します。クォータを一時的に「一時停止」または無効にする方法はありません。削除して再作成する必要があります。

追加リソース

「いいね!」 12

グループが特定のモデルの使用を完全に禁止することは、クォータを0に設定してもできないようです。

この設定のサポートを追加していただけますでしょうか?

申し訳ありませんが、ここで詳しく説明していただけますか。各機能はグループで制限されているため、いずれにしてもユーザーの一部にのみヘルパーを有効にすることができます。

一部のプレミアムモデルを特定のグループのみに制限したいと思います。モデルのクォータを0に設定して、特定のグループへのアクセスを無効にできると素晴らしいです。

「いいね!」 2

ええ、興味深い問題ですね。考えてみます。

「グループ1」にはGPT4oを、それ以外のユーザーにはGPT4o miniを使用するようにヘルパーを設定したいかもしれません。

現在、AIヘルパーにはモデルを1つしか選択できないため、これをサポートするにはかなりの変更が必要になります。

@Falco / @Saif / @awesomerobot、検討事項です。

「いいね!」 5