Merci pour votre sujet bien réfléchi !
Je vous entends, au fond, une chose est clairement nécessaire à moyen terme : un concept de « quotas ».
Choisissez un LLM → définissez un quota pour le groupe (combien de jetons leur sont autorisés par jour, puisque tout est facturé par jetons)
Cela vous permet d’ouvrir les fonctionnalités d’IA, en toute sécurité, à de plus grands groupes sans craindre de faire faillite.
Je pense que nous y arriverons, mais ce n’est pas encore tout à fait prévu.
Cependant, du côté positif, nous avons récemment beaucoup travaillé pour normaliser nos interfaces LLM, ce qui rendra la construction beaucoup plus pratique et simple qu’auparavant.