Discourse AI nécessite la liaison à un fournisseur LLM - ceci est une référence aux tarifs des différentes options.
Niveau utilisateur requis : Administrateur
Pour utiliser certaines fonctionnalités de Discourse AI, les utilisateurs doivent utiliser un fournisseur tiers de modèle linguistique étendu (LLM). Veuillez consulter chaque fonctionnalité d’IA pour déterminer quels LLM sont compatibles.
Le guide suivant renvoie aux tarifs des différents fournisseurs de LLM.
Notez que les coûts peuvent varier en fonction de plusieurs facteurs tels que le nombre de requêtes, la longueur du texte, les ressources informatiques utilisées, les modèles choisis, etc. Pour les tarifs les plus à jour et les plus précis, consultez régulièrement chaque fournisseur.
Exécutez votre propre modèle de type Llama2 OSS avec TGI : Le coût de l’exécution de votre propre modèle de type Llama2 OSS avec TGI dépendrait de divers facteurs tels que les coûts d’infrastructure, les coûts associés au réglage fin du modèle, et les coûts de gestion et de maintenance du modèle.
Ce n’est certainement pas une comparaison acquise statistiquement, mais sur la base de mes courts tests, l’utilisation d’OpenAI GPT-4 est trois fois plus chère que GPT-3.5 Turbo, en comptant les appels API et le nombre de tokens utilisés — et comme les tokens utilisés par GPT-4 sont plus chers, la différence est beaucoup plus grande.
Et je n’ai eu aucun avantage avec GPT-4 par rapport à 3.5 Turbo.
Et comme avertissement : j’ai utilisé le finnois, donc l’anglais peut être différent. De plus, toute IA est totalement inutile en utilisation de chat lorsqu’elle est utilisée en finnois, mais c’est une tout autre histoire — mais cela signifie, de mon point de vue, que tous les chatbots sont une pure perte d’argent lorsqu’ils sont utilisés pour de petites langues.
Les coûts ici sont estimés et il est entendu que les coûts peuvent varier considérablement en fonction de l’utilisation !
Il est important de noter que pour de nombreuses tâches de base, la différence entre les modèles GPT-4 et GPT-3.5 peut ne pas être significative. Cependant, GPT-4 présente des différences substantielles en termes de capacités, de compréhension créative et d’entrée brute.
Je suis également d’accord que pour les langues qui ne sont pas populaires, les capacités du modèle laissent beaucoup à désirer.
Je pense que nous parlons de la même chose, mais pour être sûr : c’est un problème des entreprises d’IA et vous, moi ou n’importe quel développeur ne pouvons pas changer ce fait.
Mais je cherche quelque chose comme nous devrions tous un peu surveiller combien nous dépensons (si nous n’utilisons pas d’argent d’un autre budget que le nôtre ) et essayer de trouver un équilibre entre l’utilité très subjective et l’argent.
Et non, je ne sais pas de quoi je parle. Principalement parce que les réponses de tous les chatbots sont essentiellement basées sur le buzz anglais de millions de vols (quantité plutôt que qualité). La situation peut changer - en mieux ou en pire, cela dépend - si nous avons de meilleurs outils pour éduquer l’IA sur les sources qu’elle peut utiliser. Bien sûr, nous en avons, mais cela coûtera beaucoup plus cher que le prix des jetons.
Et oui, c’est le casse-tête des petits acteurs.
Je me demande… y a-t-il une chance que nous obtenions un meilleur équilibre coût/précision avec une édition de prompt plus libre ?
Seriez-vous à l’aise pour divulguer approximativement le coût actuel pour Meta ? Même une estimation approximative ou une fourchette serait utile.
J’ai demandé au bot de donner une estimation et il a fourni ce qui suit :
Je pense que ce chiffre est trop bas, mais en excluant le travail expérimental et l’utilisation par l’équipe, etc., peut-être que ce n’est pas loin de ce que la plupart des instances de taille similaire à Meta pourraient attendre ?
Une autre question stupide, mais les mathématiques elles-mêmes sont-elles valides ? Je demande juste parce que les LLM ne savent tout simplement pas compter.
Mon forum utilise beaucoup moins de choses d’IA (via OpenAI) et mes frais dépassent cela.
Le prix du token que le bot a mentionné n’est pas exact. Le prix actuel pour gpt-3.5-turbo-0125 est de 0,50 par 1 million de tokens d'entrée et de 1,50 par 1 million de tokens de sortie. En supposant la moitié d’entrée et la moitié de sortie, 2,4 millions de tokens ne devraient coûter que 2,40 . `gpt-4` coûte 30 /m en entrée et 60 /m en sortie, ce qui reviendrait à 108 pour 2,4 millions de tokens.
Mis à jour le OP pour n’avoir que les liens, je suis d’accord que les prix changent constamment et qu’il est préférable d’obtenir les informations les plus à jour.
Avec l’ensemble toujours croissant de fournisseurs et de LLM, il est préférable que les utilisateurs vérifient directement auprès du fournisseur. Nous supprimons donc ce sujet.
Discourse AI nécessite la liaison à un fournisseur LLM - ceci est une référence aux tarifs des différentes options.
Niveau utilisateur requis : Administrateur
Notez que les coûts peuvent varier en fonction de plusieurs facteurs tels que le nombre de requêtes, la longueur du texte, les ressources informatiques utilisées, les modèles choisis, etc. Pour les tarifs les plus à jour et les plus précis, consultez régulièrement chaque fournisseur.
: c’est un problème des entreprises d’IA et vous, moi ou n’importe quel développeur ne pouvons pas changer ce fait.