DeepSeek vient de publier son modèle de raisonnement open source « R1 » (ainsi qu’une API) qui est à la hauteur de l’o1 d’OpenAI mais coûte environ le prix de GPT-4o-mini. C’est vraiment assez incroyable et utile, surtout à cause du coût, mais il n’est actuellement pas pris en charge sur la page de configuration LLM. 
2 « J'aime »
8 « J'aime »
omfg pourquoi je n’y ai pas pensé… merci mec 
J’ai obtenu une API et je me suis connecté comme décrit par @Falco, j’ai ajusté une invite et j’ai obtenu des réponses incroyables. Vraiment génial. Malheureusement, j’ai ensuite lu leur politique de confidentialité et leurs conditions d’utilisation, et ils utilisent, partagent et possèdent tout ce que vous faites. Basé en Chine. Malheureusement, aussi merveilleux que cela soit, je ne pense pas pouvoir l’utiliser dans la communauté pour des raisons de confidentialité.
Des suggestions de modèles open source qui peuvent être utilisés dans Discourse avec une clé API ? Gpt4o et mini sont tous deux excellents, mais ces modèles de raisonnement sont vraiment attrayants.
5 « J'aime »
C’est un bon point. Heureusement, R1 est entièrement open source et ce n’est qu’une question de temps avant que quelqu’un ne le ré-entraîne pour le “dé-chinoiser”, en supprimant les filtres/censeurs/etc. Ensuite, je soupçonne qu’il deviendra un modèle majeur sur divers fournisseurs de cloud (bedrock, groq, etc.). Pour l’instant, il n’y a pas d’autre modèle qui se compare à lui, à part o1. En fait, R1 est même légèrement meilleur à certains égards selon les benchmarks.
3 « J'aime »
@MachineScholar merci d’avoir ouvert ce sujet et aussi pour votre évaluation. Je suis un peu dépassé par ce nouveau monde de l’IA. Je supervise un stagiaire qui met en œuvre et analyse les coûts de l’IA pour nous. Pouvez-vous donner une vue d’ensemble approximative et simplifiée de la différence de coût ?
Actuellement, nous utilisons ces LLM :
- Claude 3.5 Haiku
- Claude 3.5 Sonnet
- Gemini 1.5 Flash
- GPT-4 Omni
J’envisage d’implémenter DeepSeek R1 car un autre stagiaire s’enthousiasmait vraiment aujourd’hui pour dire à quel point il est bon par rapport à GPT-o4 et o1 pour des tâches de programmation spécifiques.
Les deux stagiaires sont des informaticiens et ils sont jeunes, donc il n’y a pas de pénurie d’enthousiasme pour les nouvelles technologies. 
De plus, si mon forum Discourse contient des données publiques, dois-je m’inquiéter des conditions d’utilisation de DeepSeek en matière de confidentialité ? Je pense que si c’est bien et que cela me fait économiser de l’argent, pourquoi pas ? Mais, évidemment, je ne veux pas nuire à la communauté.
Salut ! Heureux d’aider
À ce jour, voici les coûts du plus bas au plus élevé, par 1 million de jetons :
Gemini 1.5 Flash
Entrée : 0,075
Sortie : 0,30
Claude 3.5 Haiku
Entrée : 0,80
Sortie : 4,00
Claude 3.5 Sonnet
Entrée : 3,00
Sortie : 15,00
GPT-4o
Entrée : 2,50
Sortie : 10,00
DeepSeek-R1
Entrée : 0,55
Sortie : 2,19
Les prix des jetons ici ne tiennent pas compte de la mise en cache des invites qui peut réduire considérablement les coûts. De plus, la communauté de l’IA semble signaler de manière constante que Claude 3.5 Sonnet produit un code de meilleure qualité que les modèles d’OpenAI, bien que je pense qu’ils alternent souvent en termes de qualité.
Néanmoins, DeepSeek-R1 est le vainqueur incontesté ici car il offre non seulement le meilleur rapport qualité-prix, mais le meilleur en général. Le classement de la Chatbot Arena le confirme également, car il se classe plus haut que o1 :
Hier, DeepSeek a subi une cyberattaque massive qui a probablement rendu son API non fonctionnelle, mais je l’ai testée à nouveau et elle fonctionne maintenant. J’ai également ouvert un sujet à ce sujet
En ce qui concerne la confidentialité, DeepSeek indique clairement dans sa politique que les données sont stockées en Chine (ce qui enfreint complètement la loi européenne, par exemple), et ce n’est un secret pour personne que le PCC a accès à toutes les données des entreprises en Chine. Mais si tout cela est des données publiques, alors qui s’en soucie vraiment, puisque votre site pourrait théoriquement être aspiré/exploité de toute façon.
Heureusement, ce modèle est entièrement open source et les fournisseurs de LLM en sont conscients. Par exemple, fireworks.ai propose déjà ce modèle, bien qu’ils spéculent sur le prix, à mon avis, à 8,00 en entrée / 8,00 en sortie. L’API DeepSeek est donc certainement économique.
Dans ma communauté, j’utilise GPT-4o-mini avec RAG (il est forcé de lire un sujet pertinent avant de répondre afin de fournir une réponse plus factuelle/utile) et une ingénierie d’invite stricte. Il ne m’a jamais fait défaut et il est très bon marché à 0,15 en entrée / 0,60 en sortie. Cependant, je ne lui ferais pas vraiment confiance pour le codage – cela est certainement mieux laissé à o1-mini ou DeepSeek-R1. Habituellement, 1/3 à 1/2 de tous les jetons utilisés dans ma communauté sont mis en cache (ce que vous pouvez voir dans /admin/plugins/discourse-ai/ai-usage), ce qui réduit encore mes coûts car les jetons mis en cache sont 50 % moins chers.
Ainsi, si ma communauté utilise 2 millions de jetons d’entrée et 100 000 jetons de sortie chaque jour, mes coûts approximatifs sont :
Coût d’entrée quotidien : ~0,22
Coût de sortie quotidien : ~0,06
… multiplié par 30 jours = ~6,60 en entrée et ~1,8 en sortie = 8,40 $ par mois.
Ce n’est même pas le prix d’un déjeuner.
4 « J'aime »
Ceci est encore un autre méta-post, mais j’ai testé DeepSeek avec une question sur l’exercice et la perte de poids. J’ai obtenu une très mauvaise réponse avec des tonnes d’hallucinations. Et cela correspond à d’autres expériences que j’ai entendues.
Donc, le prix n’est qu’une partie de l’histoire. Ce que l’on obtient pour ce prix est également une partie importante.
1 « J'aime »
Ah oui, c’est un très bon point en effet. J’avais oublié cela car je n’utilise pratiquement jamais les LLM sans RAG ou une autre forme d’injection d’informations lorsque je recherche des connaissances/informations. R1 brille vraiment pour moi lorsqu’il s’agit de réfléchir à des idées avec un « esprit critique ». Tout cela nécessite cependant une excellente ingénierie des prompts.
Pour clarifier : R1 a été entraîné dès le départ avec un apprentissage par renforcement axé sur le raisonnement, de sorte que sa simple « récupération d’informations » interne pourrait produire des hallucinations en raison d’une « sur-réflexion ». Mais je n’ai pas encore lu entièrement leur article de recherche, alors prenez cela avec des pincettes car ce n’est que mon intuition.
Il est également vrai qu’il est facile de jailbreaker R1 
J’ai également obtenu des réponses incohérentes de sa part. J’ai pu l’utiliser intentionnellement pour créer quelques bons exemples d’entraînement que j’ai mis dans un fichier texte RAG pour quelque chose de spécifique. Ce n’est vraiment pas encore prêt pour le grand public. J’espère qu’OpenAI publiera un modèle de raisonnement plus rentable que nous pourrons utiliser.
@MachineScholar Je tiens vraiment à vous remercier pour votre analyse des coûts et pour m’avoir aidé à comprendre cela. Je suis un peu dépassé par toutes ces nouvelles informations, mais les jeunes stagiaires en informatique semblent absorber l’information comme une éponge. Ils pensent peut-être 8 fois plus vite que moi…
J’ai un stagiaire qui travaille sur le plugin IA pour deux communautés Discourse différentes. Nous payons les stagiaires, mais ils sont bon marché et certainement enthousiastes. Le stagiaire qui fait principalement le travail sur l’IA est dans un programme d’informatique de l’Université de Californie et je me demande souvent à quoi ressemblent les discussions sur le campus dans un groupe aussi jeune où l’avenir est si clairement le leur à créer.
Je me demande aussi à quoi ressemble votre propre environnement de recherche ? Vous semblez être profondément impliqué dans la technologie. Quelle belle époque pour être impliqué. Tellement excitant.
Je vais probablement ouvrir un nouveau sujet pour ma prochaine question. Le stagiaire met en œuvre Google Custom Search et l’accès aux jetons GitHub pour le bot IA. Je ne suis pas tout à fait sûr de ce que c’est. Cependant, j’espère que le bot IA pourra accéder aux dépôts GitHub pour examiner la documentation… Je ne suis pas sûr de ce qui est possible. Je ne sais pas non plus si la génération augmentée par récupération (RAG) est utilisée dans le plugin Discourse AI.
Concernant l’efficacité de DeepSeek R1 par rapport à o1, un autre stagiaire m’a parlé de l’utiliser pour ses projets d’informatique en utilisant l’interface Web (utilisant ChatGPT Plus). Donc, le test était super informel, mais l’enthousiasme pour DeepSeek par l’un des stagiaires était grand.
Le stagiaire qui travaille réellement sur l’implémentation de l’IA a été beaucoup plus réservé quant aux différences entre les LLM. Il fournit principalement des tableaux de coûts et d’utilisation avec peu de commentaires jusqu’à présent sur les différences d’utilisation. Nous mettrons tous les LLM à la disposition de la communauté et leur demanderons d’évaluer. C’est donc intelligent de la part du stagiaire de garder son opinion basse pour le moment.
Merci encore pour votre aide dans mon parcours.
1 « J'aime »
Deepseek touche en profondeur le monde de l’IA, les entreprises et les corporations.
Ils font plus avec moins dans tous les aspects. Vous pouvez rechercher leurs différences techniques, j’ai trouvé des informations sur Reddit en utilisant un client local car je ne suis pas d’accord avec leurs politiques, mais vous pouvez y accéder.
Je suis impressionné par leur patience à travailler mieux sans milliards de fonds de capital-risque. OpenAI est très cher pour beaucoup de pays et ce n’est pas ce que l’internet ou notre ère numérique devraient être.
Bien sûr, le PCC est directement impliqué, mais de nos jours, les lois occidentales et les gouvernements corrompus sont presque les mêmes.
Le modèle est censuré comme OpenAI (Tiananmen Square ou Gaza) mais fonctionne très bien pour 1/10-20 du coût habituel.
Je pense que c’est une bonne chose pour les utilisateurs et la technologie. Les anciens services doivent changer d’approche ou laisser les gens choisir.
1 « J'aime »
Je suis très heureux d’avoir pu aider !
Oui, être dans l’informatique de nos jours signifie devoir être capable de s’adapter et d’apprendre extrêmement rapidement. C’est parfois assez fatigant cependant. J’imagine que les campus innovants en Californie sont à la pointe. Je connais de nombreux laboratoires dans des universités californiennes où des recherches de pointe en intelligence et cognition sont menées.
J’ai actuellement ma propre entreprise dans laquelle je développe des technologies éducatives intelligentes, et je travaille également dans un tout petit laboratoire d’IA où nous essayons de construire un proto-cerveau, puis de trouver un cas d’utilisation commerciale pour celui-ci. Dans un avenir proche, je créerai mon propre laboratoire de recherche dans mon domaine de recherche de niche, qui sont les systèmes intelligents d’exploration spatiale. Le monde de l’IA est tout à fait passionnant — c’est vrai — mais une partie de moi souhaite parfois que tout ralentisse pour que je n’aie pas à toujours rattraper mon retard, haha !
Google Custom Search et l’accès aux jetons GitHub permettront respectivement au Bot IA d’accéder à Google Search et à GitHub (pour les choses de programmation). De plus, le Bot IA Discourse utilise effectivement le RAG lorsqu’il lit des sujets ou des messages sur le forum. Il les lit, puis utilise ce texte comme contexte supplémentaire afin de générer un texte plus informé.
En effet, il est bon que vos stagiaires sachent suivre les tendances, cependant, il serait également judicieux pour eux de se rappeler que les LLM sont toujours surfaits, car c’est bon pour le marché. Les grands développeurs de LLM ont tout intérêt à en faire la promotion. Bien que, je dois l’admettre, ces systèmes deviennent de plus en plus impressionnants avec le temps.
@oppman N’hésitez pas à m’envoyer un message privé à tout moment si vous avez besoin de quoi que ce soit ! Nous sommes tous dans le même bateau !
2 « J'aime »
This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.