Pour utiliser certaines fonctionnalités de Discourse AI, les utilisateurs doivent utiliser un fournisseur de modèle linguistique important (LLM). Veuillez consulter chaque fonctionnalité d’IA pour déterminer quels LLM sont compatibles.
Si le coût est une préoccupation majeure, une façon de le combattre est de définir des limites d’utilisation directement auprès du fournisseur et d’utiliser un budget mensuel. Une autre option est de n’autoriser que des utilisateurs et des groupes sélectionnés à accéder aux fonctionnalités d’IA.
Il existe plusieurs facteurs variables à prendre en compte lors du calcul des coûts d’utilisation des LLM.
Une vue simplifiée serait…
- Modèle LLM et tarification → Identifier le modèle LLM spécifique que vous prévoyez d’utiliser et trouver ses derniers détails de tarification pour les tokens d’entrée et de sortie.
- Tokens d’entrée → La longueur moyenne de vos invites d’entrée en tokens.
- Token de sortie → Ce sont les réponses du modèle en tokens.
Passons maintenant à l’exemple d’utilisation du Bot IA ici même sur Meta.
De nombreuses simplifications ont été apportées lors de ce calcul, telles que l’utilisation des tokens, les utilisateurs utilisant le Bot IA et le nombre moyen de requêtes. Ces chiffres ne doivent être considérés que comme des directives générales. D’autant plus que nous expérimentons beaucoup avec le Bot IA.
-
Utilisation de Data Explorer pour comprendre les tokens moyens de requête/réponse et toutes les autres données ici.
-
En moyenne, les tokens de réponse étaient 3 à 5 fois plus importants que les tokens de requête [1].
-
Supposons qu’une requête utilisateur moyenne soit de 85 tokens, ce qui équivaut à moins d’un paragraphe [2].
-
Supposons qu’un token de réponse moyen soit de 85 x 4 = 340 tokens, soit l’équivalent de 3 paragraphes.
-
En utilisant GPT-4 Turbo d’OpenAI, le coût des tokens d’entrée serait de 10 /1M de tokens = 0,00001 /token x 85 tokens = 0,00085 $ pour l’entrée.
-
Pour les tokens de sortie, ce serait 30,00 /1M de tokens = 0,00003 /token x 340 tokens = 0,0102 $ pour la sortie.
-
Le coût total par requête est de 0,00085 + 0,0102 = 0,01105 $.
-
En février 2024, environ 600 utilisateurs utilisaient le Bot IA, effectuant en moyenne 10 requêtes pour ce mois. Supposons maintenant que ces chiffres soient cohérents avec votre communauté.
-
Cela signifierait que pour février, le coût du Bot IA serait de 0,01105 x 600 utilisateurs x 10 requêtes = 66 .
-
En projetant cela sur un an, le coût de fonctionnement du Bot IA serait de 66 x 12 = 792 pour l’année, en utilisant GPT-4 Turbo comme LLM de votre choix.
Maintenant, avec GPT-4o, vous pouvez encore diviser par deux ce coût final !
Une estimation basée sur le forum OpenAI et notre propre ratio réponse/requête en tokens ↩︎
Combien de mots font 85 tokens ? En examinant l’utilisation moyenne des tokens de requête utilisateur, j’ai trouvé des chiffres aussi bas que 20 et supérieurs à 100. Je voulais souligner qu’il y avait plus de requêtes proches de 100 et l’hypothèse est que ces requêtes pourraient être plus proches de phrases complètes et faire référence à des invites bien pensées avec beaucoup de questions posées au bot ↩︎