Si vous accordez à certains membres l’accès à l’IA, qu’est-ce qui les empêche de l’utiliser tout le temps pour leur travail, etc. ? Existe-t-il un moyen de limiter le nombre de jetons qu’ils peuvent utiliser par jour ou par semaine, etc. ?
Il n’y a pas de telles limitations lorsque vous utilisez Discourse AI, donc la réponse est tout simplement rien.
L’autre solution, Chatbot, a des limites hebdomadaires sur le nombre de requêtes pouvant être effectuées.
Vous devez donc choisir celle qui vous convient le mieux. J’utilise les deux. Chatbot pour une utilisation plus générale au sein de mon forum [1] et DAI est limité en fonction du groupe et des objectifs (réglés) en utilisant des personas. Ainsi, j’exploite en quelque sorte les meilleurs aspects des deux, car ces deux-là se chevauchent seulement partiellement.
général signifie le type de questions, sinon il est réglé de manière plus spécialisée ↩︎
4 « J'aime »
Déplacement vers la fonctionnalité, nous avons l’intention d’ajouter un système de quotas, il apparaît sans cesse
Je pense juste ajouter des sélecteurs de groupe avec des compteurs d’entrée/sortie et une durée sur chaque LLM, afin que vous puissiez ajouter des quotas facultatifs.
7 « J'aime »
J’ai un peu besoin de limites de débit par utilisateur (pas par groupe) maintenant, alors j’essaie de mettre en place ma propre solution provisoire. Limiter le nombre d’invites au lieu des jetons serait bien. Je pense à un webhook sur post_event qui indique s’il s’agit d’un message privé et si un utilisateur publie auprès d’un bot, incrémente un champ personnalisé ‘ai_query_count’ sur l’utilisateur. Je pense que cette partie fonctionnerait.
Ensuite, que faire si le nombre devient trop élevé ? J’ai essayé du javascript dans admin > customize > head qui lit le nombre de l’utilisateur et essaie de désactiver le bouton Répondre si le nombre est trop élevé, mais je n’arrive pas à trouver un terme de sélecteur pour obtenir le bouton.
Ou peut-être y a-t-il une meilleure approche. Toutes les idées sont les bienvenues !
Ils sont techniquement les mêmes, vous créez juste un groupe de 1.
Cela devrait arriver cette semaine et résoudre le problème :
4 « J'aime »
Je comprends que les quotas par groupe sont utiles pour gérer le budget, mais qu’est-ce qui empêche une personne de monopoliser tout le quota du groupe au début de la période ? EDIT : Et potentiellement de le monopoliser pour son propre travail sans rapport, comme l’a demandé l’OP ?
Nous avons 3000 membres. Donc créer 3000 groupes ? Cela ne va pas ruiner /g ?
2 « J'aime »
Je suis un peu confus au sujet de cette question, les quotas sont maintenant définis par groupe et appliqués par utilisateur
Si un groupe est autorisé 1000 jetons, cela signifie qu’aucun utilisateur individuel n’est autorisé plus de 1000 jetons
Le quota n’est pas partagé entre les utilisateurs, pas contre l’ajout du concept de quota absolu si nous en avons besoin plus tard
4 « J'aime »
Oh. Alors j’ai complètement mal compris. La fonctionnalité dit :
Définition de limites de jetons et d’utilisation par groupe avec des durées configurables
Pour moi, « limites par groupe » signifie que le groupe dans son ensemble a une limite.
Donc, c’est exactement ce que je recherche - j’attendrai la nouvelle fonctionnalité.
2 « J'aime »
Je vais attribuer cette configuration à un stagiaire mercredi prochain sur un site Discourse auto-hébergé. Dois-je lui dire de tirer de la branche principale sur GitHub ? Ou, s’il ajoute cette ligne dans app.yml, est-ce suffisant ?
hooks:
after_code:
- exec:
cd: $home/plugins
cmd:
- git clone https://github.com/discourse/docker_manager.git
...
...
- git clone https://github.com/discourse/discourse-ai.git
Je veux autoriser les fonctionnalités du plugin Discourse AI uniquement aux utilisateurs enregistrés. Est-ce le comportement par défaut ?
Il ne me semble pas que la recherche améliorée par l’IA ait un contrôle par groupe ???
Pour le bot IA, je pense le régler sur confiance 0 et limiter les jetons par groupe, en augmentant à mesure que la confiance augmente. Est-ce une bonne stratégie ?
Ceci a été fusionné. Je dois juste passer un peu de temps à le documenter.
3 « J'aime »
@sam Merci pour votre travail. L’interne a défini des quotas pour chaque niveau de confiance aujourd’hui.
Il ne l’a pas encore testé entièrement.
Lorsque la limite du groupe est atteinte pour la journée, l’utilisateur reçoit-il un message ? Ce message peut-il être personnalisé ?
Je veux que l’IA soit utile, mais qu’elle nous protège des abus. Si une personne souhaite utiliser davantage la recherche IA, je veux lui envoyer une note indiquant qu’elle peut contacter un humain pour faire augmenter la limite. Le personnel peut alors la déplacer manuellement dans un groupe préconfiguré.
Dans votre exemple, je remarque que vous utilisez amazon nova pro v1. L’interne a mis en place notre implémentation avec OpenAI gpt-o4, probablement juste à cause de la reconnaissance de la marque.
L’interne essaie toujours de déterminer l’efficacité par rapport aux coûts des différents modèles. Tout conseil de quiconque sur le forum serait formidable.
1 « J'aime »
Oui, cela se produit maintenant
Très peu, nous utilisons une chaîne traduite afin que vous puissiez modifier la traduction.
Je ferme celui-ci car il est terminé, n’hésitez pas à poser de nouvelles questions sur l’IA !
1 « J'aime »