Configurer les quotas d'utilisation des LLM dans Discourse AI

:bookmark: Ce guide explique comment configurer et gérer les quotas d’utilisation pour les grands modèles de langage (LLM) dans Discourse AI.

:person_raising_hand: Niveau d’utilisateur requis : Administrateur

Résumé

Les quotas d’utilisation des LLM permettent aux administrateurs de contrôler et de surveiller la consommation des ressources d’IA en définissant des limites sur l’utilisation des jetons et les interactions pour différents groupes d’utilisateurs. Cela permet de maintenir l’efficacité des coûts tout en garantissant un accès équitable aux fonctionnalités d’IA au sein de votre communauté.

Configuration

Accès aux paramètres de quota

  1. Accédez au panneau d’administration de votre site
  2. Allez dans Admin > Plugins > Discourse AI > LLM Models
  3. Sélectionnez le modèle LLM que vous souhaitez configurer

Configuration des quotas

Pour chaque groupe d’utilisateurs, vous pouvez configurer :

  • Utilisation maximale des jetons
  • Et/ou Nombre maximum d’interactions IA
  • Durée de la période de réinitialisation

Options de durée

Choisissez parmi les périodes de réinitialisation prédéfinies :

  • 1 heure
  • 6 heures
  • 24 heures
  • 7 jours
  • Durée personnalisée (spécifiée en heures)

Surveillance de l’utilisation

Affichage des statistiques

Les administrateurs peuvent surveiller la consommation de jetons et la consommation d’utilisation à l’adresse : https://NOMDUSITE/admin/plugins/discourse-ai/ai-usage

  1. Accédez à Admin > Plugins > Discourse AI
  2. Sélectionnez l’onglet “Utilisation”
  3. Filtrez par plage de dates, groupe d’utilisateurs ou métriques spécifiques

Expérience utilisateur

Notifications de quota

Les utilisateurs reçoivent un retour clair lorsqu’ils approchent ou atteignent les limites de quota :

  • Statut d’utilisation actuel
  • Temps jusqu’à la prochaine réinitialisation du quota

Messages d’erreur

Lorsqu’un quota est dépassé, les utilisateurs voient :

  • Une notification claire indiquant que la limite de quota a été atteinte
  • Le temps restant jusqu’à leur prochaine réinitialisation de quota

Bonnes pratiques

  1. Commencez prudemment : commencez avec des quotas plus bas et ajustez en fonction des modèles d’utilisation réels
  2. Allocation basée sur les groupes : attribuez des quotas différents en fonction des besoins et des rôles des groupes d’utilisateurs
  3. Surveillance régulière : examinez les modèles d’utilisation pour optimiser les paramètres de quota
  4. Communication claire : informez les utilisateurs des limites de quota et des périodes de réinitialisation

Problèmes courants et solutions

Problème : les utilisateurs atteignent fréquemment les limites

Solution : Envisagez de :

  • Augmenter les limites de quota pour des groupes spécifiques
  • Réduire la période de réinitialisation
  • Créer des groupes spécialisés pour les utilisateurs à forte utilisation

Problème : quotas inutilisés

Solution :

  • Ajustez les limites à la baisse pour optimiser l’allocation des ressources
  • Examinez les affectations de groupe pour vous assurer que les quotas correspondent aux besoins des utilisateurs

FAQ

Q : Les quotas peuvent-ils être suspendus temporairement ?
R : Oui, les administrateurs peuvent désactiver temporairement l’application des quotas pour des groupes spécifiques ou pour l’ensemble du site.

Q : Les quotas inutilisés sont-ils reportés ?
R : Non, les quotas sont complètement réinitialisés à la fin de chaque période.

Q : Différents modèles LLM peuvent-ils avoir des quotas différents ?
R : Oui, les quotas peuvent être configurés indépendamment pour chaque LLM.

Q : Que se passe-t-il si plusieurs quotas sont définis pour un seul LLM ?
R : Les quotas sont basés sur le groupe et appliqués par utilisateur. Pour qu’un utilisateur dépasse un quota, il doit dépasser le quota dans tous les groupes. Cela signifie que si vous accordez aux administrateurs un quota très souple et au niveau de confiance 1 un quota plus restrictif, le quota d’administrateur s’appliquera aux administrateurs.

Q : Que se passe-t-il si aucun quota n’est appliqué à un LLM ?
R : Rien de spécial ne se produira, toute utilisation du LLM sera illimitée.

Q : Que faire si je veux des quotas différents pour différentes fonctionnalités ?
R : Discourse AI vous permet de définir plusieurs LLM qui contactent tous le même point de terminaison et peuvent même réutiliser les clés. Si vous souhaitez attribuer un quota à l’assistant IA et un autre au bot IA, définissez 2 LLM.

Ressources supplémentaires

10 « J'aime »

Il semble que nous ne puissions pas interdire complètement à un groupe d’utiliser un modèle spécifique en définissant la quota à 0.

Pourriez-vous ajouter la prise en charge de ce paramètre ?

Désolé, pouvez-vous développer ici. Chaque fonctionnalité est également limitée par groupe, vous pouvez donc activer l’assistant uniquement pour un sous-ensemble d’utilisateurs de toute façon.

Je souhaite que certains modèles premium soient réservés à des groupes spécifiques uniquement. Il serait formidable de pouvoir définir le quota d’un modèle sur 0 pour désactiver l’accès à certains groupes.

2 « J'aime »

Oui, c’est un problème intéressant. J’y réfléchirai.

Vous pourriez vouloir que l’assistant utilise GPT4o pour le « groupe spécial 1 » et GPT4o mini pour le reste des personnes.

Pour le moment, nous ne vous permettons de sélectionner qu’un seul modèle pour l’assistant IA, nous aurions donc besoin d’un changement raisonnablement important pour prendre cela en charge.

@Falco / @Saif / @awesomerobot, quelque chose à considérer.

5 « J'aime »