Configuration des quotas d'utilisation de LLM dans Discourse AI

:bookmark: Ce guide explique comment configurer et gérer les quotas d’utilisation des grands modèles linguistiques (LLM) dans Discourse AI.

:person_raising_hand: Niveau d’utilisateur requis : Administrateur

Résumé

Les quotas d’utilisation des LLM permettent aux administrateurs de contrôler et de surveiller la consommation des ressources d’IA en définissant des limites sur l’utilisation des jetons (tokens) et les interactions pour différents groupes d’utilisateurs. Cela aide à maintenir l’efficacité des coûts tout en assurant un accès équitable aux fonctionnalités d’IA dans votre communauté.

Configuration

Accès aux paramètres des quotas

  1. Accédez au panneau d’administration de votre site
  2. Allez dans Admin > Plugins > Discourse AI > LLMs
  3. Sélectionnez le modèle LLM que vous souhaitez configurer

Configuration des quotas

Pour chaque groupe d’utilisateurs, vous pouvez configurer :

  • L’utilisation maximale de jetons (tokens)
  • Et/Ou le nombre maximal d’interactions d’IA
  • La durée de la période de réinitialisation

Au moins une des options (jetons maximum ou utilisations maximales) doit être définie pour chaque quota.

:notepad_spiral: Note : Le groupe « everyone » (tout le monde) ne peut se voir attribuer aucun quota. Vous devez utiliser des groupes spécifiques (par exemple, les groupes de niveau de confiance ou les groupes personnalisés).

Options de durée

Choisissez parmi les périodes de réinitialisation prédéfinies :

  • 1 heure
  • 6 heures
  • 24 heures
  • 7 jours
  • Durée personnalisée (spécifiée en heures)

Surveillance de l’utilisation

Visualisation des statistiques

Les administrateurs peuvent surveiller la consommation de jetons et la consommation d’utilisation à l’adresse suivante : https://SITENAME/admin/plugins/discourse-ai/ai-usage

  1. Naviguez vers Admin > Plugins > Discourse AI
  2. Sélectionnez l’onglet « Usage » (Utilisation)
  3. Filtrez par plage de dates, groupe d’utilisateurs ou métriques spécifiques

Expérience utilisateur

Notifications de quota

Les utilisateurs reçoivent un retour clair lorsqu’ils approchent ou atteignent les limites de quota :

  • État d’utilisation actuel
  • Temps jusqu’à la prochaine réinitialisation du quota

Messages d’erreur

Lorsqu’un quota est dépassé, les utilisateurs voient :

  • Une notification claire indiquant que la limite de quota a été atteinte
  • Le temps restant jusqu’à la prochaine réinitialisation de leur quota

Bonnes pratiques

  1. Commencez avec prudence : Commencez avec des quotas plus bas et ajustez en fonction des modèles d’utilisation réels
  2. Allocation basée sur les groupes : Attribuez différents quotas en fonction des besoins et des rôles des groupes d’utilisateurs
  3. Surveillance régulière : Examinez les modèles d’utilisation pour optimiser les paramètres de quota
  4. Communication claire : Informez les utilisateurs sur les limites de quota et les périodes de réinitialisation

Problèmes courants et solutions

Problème : Les utilisateurs atteignent fréquemment les limites

Solution : Envisagez de :

  • Augmenter les limites de quota pour des groupes spécifiques
  • Réduire la période de réinitialisation
  • Créer des groupes spécialisés pour les utilisateurs ayant une utilisation intensive

Problème : Quotas inutilisés

Solution :

  • Ajustez les limites à la baisse pour optimiser l’allocation des ressources
  • Examinez les attributions de groupes pour vous assurer que les quotas correspondent aux besoins des utilisateurs

FAQs

Q : Les quotas inutilisés sont-ils reportés ?
R : Non, les quotas sont entièrement réinitialisés à la fin de chaque période.

Q : Les différents modèles LLM peuvent-ils avoir des quotas différents ?
R : Oui, les quotas peuvent être configurés indépendamment pour chaque LLM.

Q : Que se passe-t-il si plusieurs quotas sont définis pour un seul LLM ?
R : Les quotas sont basés sur le groupe et appliqués par utilisateur. Pour qu’un utilisateur dépasse son quota, il doit dépasser le quota dans tous les groupes. Cela signifie que si vous donnez aux administrateurs un quota très souple et au niveau de confiance 1 un quota plus restrictif, le quota de l’administrateur s’appliquera aux administrateurs.

Q : Que se passe-t-il si aucun quota n’est appliqué à un LLM ?
R : Rien de spécial ne se produira, toute l’utilisation du LLM sera non mesurée.

Q : Que faire si je souhaite des quotas différents pour différentes fonctionnalités ?
R : Discourse AI vous permet de définir plusieurs LLM qui contactent tous le même point de terminaison et peuvent même réutiliser les clés. Si vous souhaitez attribuer un quota à l’assistant IA et un autre à l’agent IA, définissez 2 LLM.

Q : Comment supprimer un quota ?
R : Supprimez le quota de la page de configuration du modèle LLM. Il n’existe aucun moyen de « mettre en pause » ou de désactiver temporairement un quota — il doit être supprimé et recréé.

Ressources supplémentaires

11 « J'aime »

Il semble que nous ne puissions pas interdire complètement à un groupe d’utiliser un modèle spécifique en définissant la quota à 0.

Pourriez-vous ajouter la prise en charge de ce paramètre ?

Désolé, pouvez-vous développer ici. Chaque fonctionnalité est également limitée par groupe, vous pouvez donc activer l’assistant uniquement pour un sous-ensemble d’utilisateurs de toute façon.

Je souhaite que certains modèles premium soient réservés à des groupes spécifiques uniquement. Il serait formidable de pouvoir définir le quota d’un modèle sur 0 pour désactiver l’accès à certains groupes.

2 « J'aime »

Oui, c’est un problème intéressant. J’y réfléchirai.

Vous pourriez vouloir que l’assistant utilise GPT4o pour le « groupe spécial 1 » et GPT4o mini pour le reste des personnes.

Pour le moment, nous ne vous permettons de sélectionner qu’un seul modèle pour l’assistant IA, nous aurions donc besoin d’un changement raisonnablement important pour prendre cela en charge.

@Falco / @Saif / @awesomerobot, quelque chose à considérer.

5 « J'aime »