Configurer les quotas d'utilisation des LLM dans Discourse AI

:bookmark: Ce guide explique comment configurer et gérer les quotas d’utilisation pour les grands modèles de langage (LLM) dans Discourse AI.

:person_raising_hand: Niveau d’utilisateur requis : Administrateur

Résumé

Les quotas d’utilisation des LLM permettent aux administrateurs de contrôler et de surveiller la consommation des ressources IA en fixant des limites sur l’utilisation des jetons et les interactions pour différents groupes d’utilisateurs. Cela aide à maintenir une efficacité des coûts tout en garantissant un accès équitable aux fonctionnalités IA au sein de votre communauté.

Configuration

Accès aux paramètres de quota

  1. Accédez au panneau d’administration de votre site
  2. Allez dans Admin > Plugins > Discourse AI > LLMs
  3. Sélectionnez le modèle LLM que vous souhaitez configurer

Configuration des quotas

Pour chaque groupe d’utilisateurs, vous pouvez configurer :

  • Utilisation maximale des jetons
  • Et/ou nombre maximal d’interactions IA
  • Et/ou coût maximal
  • Durée de la période de réinitialisation

Au moins l’un des deux : jetons maximaux ou utilisations maximales, doit être défini pour chaque quota.

:notepad_spiral: Remarque : Le groupe « everyone » (tout le monde) ne peut pas se voir attribuer un quota. Vous devez utiliser des groupes spécifiques (par exemple, les groupes de niveau de confiance ou les groupes personnalisés).

Options de durée

Choisissez parmi les périodes de réinitialisation prédéfinies :

  • 1 heure
  • 6 heures
  • 24 heures
  • 7 jours
  • Durée personnalisée (spécifiée en heures)

Surveillance de l’utilisation

Affichage des statistiques

Les administrateurs peuvent surveiller la consommation de jetons et d’utilisation à l’adresse : https://NOM_DU_SITE/admin/plugins/discourse-ai/ai-usage

  1. Accédez à Admin > Plugins > Discourse AI
  2. Sélectionnez l’onglet « Usage »
  3. Filtrez par plage de dates, groupe d’utilisateurs ou métriques spécifiques

Expérience utilisateur

Notifications de quota

Les utilisateurs reçoivent des retours clairs lorsqu’ils approchent ou atteignent les limites de quota :

  • Statut d’utilisation actuel
  • Temps restant avant la prochaine réinitialisation du quota

Messages d’erreur

Lorsqu’un quota est dépassé, les utilisateurs voient :

  • Une notification claire indiquant que la limite de quota a été atteinte
  • Le temps restant avant leur prochaine réinitialisation de quota

Bonnes pratiques

  1. Commencez de manière conservative : Commencez par des quotas plus bas et ajustez-les en fonction des modèles d’utilisation réels.
  2. Allocation par groupe : Attribuez des quotas différents en fonction des besoins et des rôles des groupes d’utilisateurs.
  3. Surveillance régulière : Examinez les modèles d’utilisation pour optimiser les paramètres de quota.
  4. Communication claire : Informez les utilisateurs des limites de quota et des périodes de réinitialisation.

Problèmes courants et solutions

Problème : Les utilisateurs atteignent fréquemment les limites

Solution : Envisagez de :

  • Augmenter les limites de quota pour des groupes spécifiques
  • Réduire la période de réinitialisation
  • Créer des groupes spécialisés pour les utilisateurs à forte utilisation

Problème : Quotas inutilisés

Solution :

  • Ajuster les limites à la baisse pour optimiser l’allocation des ressources
  • Examiner les affectations de groupe pour s’assurer que les quotas correspondent aux besoins des utilisateurs

FAQ

Q : Les quotas inutilisés sont-ils reportés ?
R : Non, les quotas sont entièrement réinitialisés à la fin de chaque période.

Q : Les différents modèles LLM peuvent-ils avoir des quotas différents ?
R : Oui, les quotas peuvent être configurés indépendamment pour chaque LLM.

Q : Que se passe-t-il si plusieurs quotas sont définis pour un seul LLM ?
R : Les quotas sont basés sur les groupes et appliqués par utilisateur. Pour qu’un utilisateur dépasse son quota, il doit dépasser le quota dans tous les groupes. Cela signifie que si vous accordez un quota très souple aux administrateurs et un quota plus restrictif au niveau de confiance 1, le quota des administrateurs s’appliquera aux administrateurs.

Q : Que se passe-t-il si aucun quota n’est appliqué à un LLM ?
R : Rien de particulier ne se produit, toute l’utilisation du LLM sera non mesurée.

Q : Que faire si je souhaite des quotas différents pour différentes fonctionnalités ?
R : Discourse AI vous permet de définir plusieurs LLM qui contactent tous la même adresse finale et peuvent même réutiliser les clés, si vous souhaitez accorder un quota à l’assistant IA et un autre à l’agent IA, définissez 2 LLM.

Q : Comment supprimer un quota ?
R : Supprimez le quota de la page de configuration du modèle LLM. Il n’existe aucun moyen de « mettre en pause » ou de désactiver temporairement un quota — il doit être supprimé et recréé.

Ressources supplémentaires

11 « J'aime »

Il semble que nous ne puissions pas interdire complètement à un groupe d’utiliser un modèle spécifique en définissant la quota à 0.

Pourriez-vous ajouter la prise en charge de ce paramètre ?

Désolé, pouvez-vous développer ici. Chaque fonctionnalité est également limitée par groupe, vous pouvez donc activer l’assistant uniquement pour un sous-ensemble d’utilisateurs de toute façon.

Je souhaite que certains modèles premium soient réservés à des groupes spécifiques uniquement. Il serait formidable de pouvoir définir le quota d’un modèle sur 0 pour désactiver l’accès à certains groupes.

2 « J'aime »

Oui, c’est un problème intéressant. J’y réfléchirai.

Vous pourriez vouloir que l’assistant utilise GPT4o pour le « groupe spécial 1 » et GPT4o mini pour le reste des personnes.

Pour le moment, nous ne vous permettons de sélectionner qu’un seul modèle pour l’assistant IA, nous aurions donc besoin d’un changement raisonnablement important pour prendre cela en charge.

@Falco / @Saif / @awesomerobot, quelque chose à considérer.

5 « J'aime »