Continuant la discussion de Limite de publications par sujet / utilisateur / mois :
Bonjour 
Merci de votre intérêt 
Pour plus de contexte : En 2021, mon premier projet avec un forum au Kazakhstan a échoué car la plupart des habitants préfèrent utiliser Telegram ou WhatsApp. L’introduction de plugins pour le bot Discourse AI et Chatbot a donné une seconde chance à mon site Web, mais il est maintenant axé uniquement sur la communication avec l’intelligence artificielle (modèles de requêtes catégorisés, personnages de bot, etc.).
- Concernant le contrôle des dépenses de jetons : Il serait souhaitable d’avoir un panneau de statistiques/paramètres séparé pour suivre et gérer les dépenses de jetons en fonction du personnage du bot (GPT3, 3.5, 4, 4.5t et/ou Assistant de composition) avec lequel on interagit. En tant qu’administrateur, au cours d’un mois d’utilisation d’essai, j’ai déjà dépensé plus de 70 $ en jetons pour les requêtes ChatGPT, ce qui représente une dépense importante pour moi. Maintenant, alors que je veux fournir un accès aux bots pour les utilisateurs réguliers, je commence à m’inquiéter de mon budget, qu’il est difficile de contrôler.
Imaginons une situation où j’accorde l’accès à l’IA à un groupe d’utilisateurs spécifique et dis : « Utilisez-le ». Supposons qu’un utilisateur génère suffisamment de requêtes en une journée pour épuiser mon budget. Ensuite, supposons qu’un autre utilisateur essaie de faire une requête à l’IA et… ne reçoit aucune réponse (rien). Le deuxième utilisateur peut ne pas comprendre pourquoi le bot n’a pas répondu, supposer que le service ne fonctionne pas correctement et opter pour d’autres services.
Pour cela, il serait approprié d’avoir un panneau séparé dans l’onglet utilisateur où chaque utilisateur (administrateur/modérateur/utilisateur régulier) peut suivre et contrôler les dépenses de jetons, la température du bot, le top (bien que cela puisse être placé dans l’éditeur de publication, voir le schéma ci-dessous), et d’autres paramètres de réglage fin.
Par exemple, je voudrais définir un montant seuil pour moi-même, et lorsqu’il est atteint, recevoir une notification pour réapprovisionner le budget/les jetons. Comme différents modèles d’IA peuvent différer dans le coût des jetons consommés, j’aimerais avoir la possibilité de limiter les jetons pour chaque bot pour moi-même et d’autres groupes d’utilisateurs. Chaque utilisateur devrait pouvoir gérer indépendamment la limite de jetons allouée à sa discrétion, comme le peut un administrateur. Il serait également utile de fournir à certains groupes d’utilisateurs (modérateurs, TL4) la capacité d’affiner les paramètres de génération (température, TOP 
, etc.).
Par exemple, au lieu de définir la valeur maximale de sujets sémantiquement liés aux embeddings pour tous les utilisateurs, il serait pratique de fournir ces limites en fonction du groupe d’utilisateurs. Ainsi, le groupe du personnel pourrait se voir attribuer un maximum de 7, les utilisateurs réguliers 3, et ainsi de suite. Chaque utilisateur devrait pouvoir définir ces valeurs dans le panneau utilisateur de son compte. Cette approche démocratiserait l’utilisation de l’IA et la capacité de contrôler les limites de jetons allouées à chaque utilisateur.
Par exemple, ai helper automatic chat thread title pourrait également être déterminé en fonction du groupe d’utilisateurs, donnant à chaque utilisateur le choix d’activer/désactiver cette fonction dans le panneau utilisateur. ai helper model pourrait également être laissé au choix de l’utilisateur en fonction du groupe. Si je donne au Groupe A la possibilité de choisir entre GPT4t et GPT3.5t, chacun d’eux pourrait faire le choix indépendamment.
Il serait également possible d’ajouter la capacité pour les groupes privilégiés d’avoir leurs requêtes priorisées et envoyées au LLM en tête de la file d’attente.
J’ai essayé d’illustrer cela plus en détail (j’ai rapidement réalisé l’illustration, s’il vous plaît, ne la jugez pas sévèrement) :
Remarque : Dans l’image ci-dessus, j’ai essayé de refléter les fonctionnalités possibles proposées pour les utilisateurs réguliers. Ces fonctionnalités peuvent être verrouillées, et pour être claires pour l’utilisateur, il serait approprié d’avoir des boutons pour activer les fonctionnalités/augmenter les limites/ajouter un bot. Ces boutons sont mis en surbrillance en bleu, et cliquer sur l’un de ces boutons redirigerait l’utilisateur vers une page avec une invitation à rejoindre un groupe privilégié pour plus de fonctionnalités dans l’interaction avec l’IA.
2) Dans l’éditeur, je suggère :
- Catégorisation des bots par types (Travail avec des images, du texte, de l’audio, etc.) et des paramètres de requête supplémentaires (voir point 1 ci-dessus) dans l’interface du compositeur.
- Ajout de la possibilité de limiter le nombre de caractères pour une requête en fonction du personnage du bot (comme l’un des leviers pour réduire la charge du serveur) ou du groupe d’utilisateurs. J’ai discuté de quelque chose de similaire ici.
- La possibilité d’insérer un modèle de requête en utilisant le plugin existant Discourse Templates ou éventuellement une modification future (à utiliser dans les messages personnels) actuellement en cours de développement : Experimental Form Templates.
- La possibilité d’insérer un modèle d’indice dans la zone de saisie de texte (similaire aux modèles de thème de catégorie dans les paramètres de catégorie).
Voici un exemple d’illustration :
Remarque : Il serait conseillé de refléter la limite de caractères d’entrée en bas de l’éditeur (comme indiqué) dans l’image.
Options supplémentaires (en dehors des paramètres de l’API) dans AI Persona Editor for Discourse, qui seront ensuite affichées dans l’éditeur de messages :
PS. Ces derniers jours, j’ai été un peu malade (je suis malade), et certaines de mes suggestions pourraient être un peu dispersées et pas tout à fait claires. Je suis nouveau sur Discourse, je manque de connaissances en programmation et j’ai du mal à comprendre les informations sur ce forum en langue anglaise, où les publications contiennent souvent des termes spécifiques. Ainsi, je reconnais que mes idées (propositions) peuvent parfois être quelque peu absurdes, ne pas correspondre à certaines contraintes techniques de Discourse. Je comprends également que l’équipe peut avoir sa propre feuille de route de projet pour le plugin, qui ne correspond pas nécessairement à mes points de vue. Cependant, j’ai décidé d’écrire ce message car je crois que la révolution de l’IA attirera de nombreux utilisateurs vers de tels services, et Discourse possède déjà toutes les capacités technologiques pour interagir avec l’IA avant la plupart des projets émergents sur le marché (le fait qu’Open AI utilise Discourse pour son forum en dit long). Il vaut donc mieux dire que ne pas dire. À cet égard, considérez ma proposition comme une perspective extérieure, une suggestion d’un utilisateur ordinaire (qui est souvent habitué aux réseaux sociaux et aux messageries) souhaitant de la clarté et des fonctionnalités d’interaction, ce qui manque souvent aux réseaux sociaux et aux messageries.
Edit. Je comprends que la mise en œuvre d’une telle fonctionnalité peut nécessiter des coûts de main-d’œuvre et financiers importants (ce que tous les sponsors ne peuvent pas supporter). Il pourrait être utile de soumettre de telles propositions à un vote et/ou d’organiser un financement participatif.
. Je suis très heureux que vous m’ayez entendu 
