Tarification des fournisseurs de LLM pour Discourse AI

[Tris20 (Tristan)]

Seriez-vous à l’aise pour divulguer approximativement le coût actuel pour Meta ? Même une estimation approximative ou une fourchette serait utile.

J’ai demandé au bot de donner une estimation et il a fourni ce qui suit :

@ForumHelperBot

Hypothèses pour le calcul :

1. Longueur moyenne des publications : On suppose qu’une publication moyenne contient environ 50 jetons (en tenant compte du mélange de publications plus courtes et plus longues).
2. Actions activées par l’IA par publication : Si l’IA aide à la composition, au résumé ou à la réponse aux requêtes, supposons qu’elle est engagée deux fois par publication (une fois pour rédiger une réponse et peut-être une fois pour des tâches supplémentaires comme le résumé).
3. Utilisateurs actifs quotidiens et publications : Meta Discourse a un niveau d’engagement élevé. Pour une approximation, supposons qu’il y a environ 100 utilisateurs actifs par jour, chacun générant en moyenne 4 publications/commentaires (totalisant 400 interactions quotidiennes).
4. Activité mensuelle : Cela se traduit par 12 000 interactions mensuelles (400 interactions * 30 jours).
5. Utilisation totale des jetons : En supposant que chaque action de l’IA implique le traitement de 100 jetons (50 jetons pour la lecture/entrée + 50 pour la génération de sortie), et que l’IA est utilisée deux fois par publication, cela fait 200 jetons par publication. Par conséquent, l’utilisation mensuelle des jetons serait de 2,4 millions de jetons (12 000 interactions * 200 jetons).

Estimation des coûts :

En prenant le modèle GPT-3.5 comme référence, qui coûtait environ 0,02 $ par 1 000 jetons vers la fin de mes données d’entraînement :

• Coût mensuel : Le coût pour 2,4 millions de jetons serait d’environ 48 (2 400 * 0,02 ).

Je pense que ce chiffre est trop bas, mais en excluant le travail expérimental et l’utilisation par l’équipe, etc., peut-être que ce n’est pas loin de ce que la plupart des instances de taille similaire à Meta pourraient attendre ?