J’expliquerai l’intégration de Discourse AI à l’équipe la semaine prochaine. Nous avons déjà quelques clés API, MAIS, elles sont toutes pour des comptes PAYANTS.
Je suis sûr qu’on me demandera : Y a-t-il des fonctionnalités qui peuvent être intégrées et qui peuvent être utilisées GRATUITEMENT ? Ceci est pour une école et nous sommes sûrs que les étudiants voudront tout utiliser, mais les coûts seront astronomiques.
Merci
Non. Ce n’est pas gratuit.
En fait, llama3 est gratuit, mais d’après ce que j’ai compris, il faut un ordinateur à 300 000 $ pour le faire fonctionner.
Si vous avez un certain budget, vous pourriez configurer cela de telle sorte que vous payiez ce montant mensuellement au service de votre choix, et une fois le budget épuisé pour le mois, il est épuisé pour le mois. Vous essaieriez de fixer des limites pour que cela n’arrive pas la première semaine (ou le premier jour). Il serait compliqué de le configurer de telle sorte que les enseignants qui souhaitent l’utiliser dans le cadre d’un cours puissent compter dessus.
En tant qu’établissement scolaire, vous pourriez peut-être vous inscrire pour obtenir des crédits éducatifs gratuits sur des services tels qu’AWS, Azure ou GCP et les utiliser pour alimenter les fonctionnalités d’IA de Discourse.
Merci, c’est ce que j’avais prévu de leur dire. Ce n’est pas gratuit. Le plan pour l’instant est de continuer à utiliser des instances locales de Gpt4All et LmStudio.
Pour ce que ça vaut, vous pouvez exécuter la version 70b de Llama3 dans 48 Go de VRAM, que vous pouvez trouver relativement facilement en vous procurant une paire de Nvidia RTX 3090 d’occasion sur eBay pour environ 750 chacune. La construction du reste d'un système pour supporter cela coûterait dans les alentours de 3000 , je m’attends. 
C’est une amélioration d’un facteur 100 ! Je peux imaginer qu’une école ait autant d’argent, mais j’ai une assez bonne imagination.
Merci beaucoup pour cela. Je ne comprends la plupart du temps pas les exigences matérielles.
Vous pouvez voir cela d’une autre manière.
Pourquoi ne pas tester l’utilisation de l’IA et surveiller les tableaux de bord des coûts pendant un mois ? Décidez ensuite si vous souhaitez continuer.
Au cours des 12 derniers mois seulement, le coût des modèles performants a BEAUCOUP diminué.
Le modèle gpt4o-mini d’OpenAI est très performant et très bon marché maintenant (mais tout est relatif.)
Eh bien, Mini m’a laissé tomber à chaque fois. Mais cela mérite un autre sujet ailleurs.
Oui, cela peut aussi dépendre de la langue.
Gemini Flash est très bon marché et l’API DeepSeek est si bon marché qu’elle est presque gratuite.
Si vous avez besoin de l’exécuter localement, vous pouvez construire une machine pour moins de 1000 qui peut exécuter des modèles Llama. J'ai construit une machine 4xP100 pour 1000 qui a 64 Go de VRAM. Mais une machine 2xP40 avec 48 Go de VRAM suffirait pour exécuter Llama 70B et peut être construite pour 600 $ si vous achetez des pièces d’occasion.
Pour le summum de l’économie, vous pourriez l’exécuter sur un seul GPU P40 avec la quantification AQLM, mais ce serait assez lent (environ 1 tok/s).
Ils n’ont pas d’argent
Il est intéressant de constater que personne ne prend en compte les coûts d’électricité pour toutes ces solutions d’auto-hébergement. Je suppose qu’il s’agit d’une facture consolidée qui n’est de toute façon pas traçable à une machine spécifique…
Vous avez abordé un sujet qu’un ami travaillant pour une compagnie d’électricité a mentionné l’autre jour comme une retombée du travail à distance. Les unités de climatisation/chauffage fonctionnent désormais 24h/24 et 7j/7 car les gens doivent les utiliser sans arrêt. Le résultat a été des factures d’électricité astronomiques pour beaucoup.
Notez que les plans hébergés de Discourse incluent les sujets connexes inclus dans le plan. Ceci est alimenté par des plongements d’IA.
Certains fournisseurs tels que Cloudflare offrent un niveau gratuit avec une quantité généreuse d’utilisation pour les auto-hébergeurs.
This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.