Discourse Chatbot 🤖

[merefield (Robert)]

Chatbot 1.3 est sorti

• NOUVEAUTÉ : ajout d’une option pour gérer les quotas par jeton
  • Le nouveau paramètre chatbot_quota_basis vous permet d’activer cette option, sinon elle reste basée sur le nombre de requêtes.
  • La seule différence par défaut est que le quota décompte à partir du quota maximum de départ (qui est toujours basé sur les mêmes paramètres de niveau de confiance).
• NOUVEAUTÉ : inclusion du coût des appels API comme DALL-E dans la consommation utilisateur
  • Basé uniquement sur les jetons
  • Divers nouveaux paramètres pour ajuster le coût en jetons des fonctionnalités de l’API
• NOUVEAUTÉ : ajout d’une fonction permettant à l’utilisateur de vérifier son quota restant

FEATURE: add option to manage quotas by token

Chatbot a toujours permis d’appliquer un quota d’utilisation.

Aujourd’hui, cela devient plus sophistiqué !

Chatbot peut désormais suivre et appliquer un quota d’utilisation par jeton.

Vous pouvez tarifer les appels aux API pour décourager leur surutilisation, afin que vous puissiez vous inquiéter moins de donner accès aux gens à la génération d’images, par exemple.

Le suivi des jetons est une option. Si vous passez au suivi par jeton, assurez-vous d’augmenter le quota de chaque niveau de confiance, car les valeurs devront être plusieurs ordres de grandeur supérieures. Expérimentez.

Cependant, le suivi par requête a légèrement changé. Il sera désormais réinitialisé à votre nombre maximum de requêtes autorisées et comptera à rebours jusqu’à zéro.

Vous pourriez envisager d’exécuter le travail de réinitialisation globale des quotas une fois de manière unique pour vous assurer que tout le monde commence avec un quota complet. C’est une opération unique !

Dans Sidekiq, à /sidekiq/scheduler :

Appuyez sur le bouton déclencheur.

Dans les deux cas, les utilisateurs peuvent désormais demander quel quota il leur reste :

NB : problème connu : si cette question est posée pour la première fois avant que le travail de réinitialisation n’ait été exécuté, la réponse peut être un peu étrange ! Indépendamment de l’exécution du travail de réinitialisation, la deuxième fois que cette question est posée, elle devrait fonctionner correctement.