DeepSeek acaba de lanzar su modelo de razonamiento de código abierto “R1” (junto con una API) que está a la par con el o1 de OpenAI, pero cuesta alrededor de lo mismo que GPT-4o-mini. Es realmente asombroso y útil, especialmente por el costo, pero actualmente no es compatible en la página de configuración de LLM. 
2 Me gusta
8 Me gusta
omfg por qué no pensé en eso… gracias hombre 
Tengo una API y me conecté como describió @Falco, ajusté un prompt y obtuve respuestas increíbles. Realmente genial. Desafortunadamente, luego leí su política de privacidad y términos de servicio y usan, comparten y son dueños de todo lo que haces. Con sede en China. Desafortunadamente, por maravilloso que sea, no creo que pueda usarlo en la comunidad por razones de privacidad.
¿Alguna sugerencia de modelos de código abierto que se puedan usar en Discourse con clave API? Gpt4o y mini son geniales, pero estos modelos de razonamiento son realmente tentadores.
5 Me gusta
Ese es un buen punto. Por suerte, R1 es completamente de código abierto y es solo cuestión de tiempo antes de que alguien lo reajuste para des-sinizarlo, eliminando los filtros/censuras/etc. Entonces sospecho que será un modelo importante en varios proveedores de la nube (bedrock, groq, etc.). Por ahora no hay ningún otro modelo que se compare con él, excepto o1. De hecho, R1 es incluso ligeramente mejor en algunos aspectos según los benchmarks.
3 Me gusta
@MachineScholar, gracias por abrir este tema y también por tu evaluación. Estoy un poco abrumado con este nuevo mundo de la IA. Estoy supervisando a un becario que está implementando y analizando los costos de la IA para nosotros. ¿Puedes dar una visión general aproximada para legos sobre la diferencia de costos?
Ahora mismo, estamos ejecutando estos LLM:
- Claude 3.5 Haiku
- Claude 3.5 Sonnet
- Gemini 1.5 Flash
- GPT-4 Omni
Estoy considerando implementar DeepSeek R1 porque otro becario estaba realmente entusiasmado hoy sobre lo bueno que es en comparación con GPT-o4 y o1 para tareas de programación específicas.
Ambos becarios son informáticos y son jóvenes, ¡así que no hay escasez de entusiasmo por la nueva tecnología! 
Además, si mi foro de Discourse tiene datos públicos, ¿debo preocuparme por los términos de uso de privacidad de DeepSeek? Supongo que estoy pensando, si es bueno y me ahorra dinero, ¿por qué no? Pero, obviamente, no quiero dañar a la comunidad.
¡Hola! Me alegra ayudar
A día de hoy, estos son los costes de menor a mayor, por 1 millón de tokens:
Gemini 1.5 Flash
Entrada: $0.075
Salida: $0.30
Claude 3.5 Haiku
Entrada: $0.80
Salida: $4.00
Claude 3.5 Sonnet
Entrada: $3.00
Salida: $15.00
GPT-4o
Entrada: $2.50
Salida: $10.00
DeepSeek-R1
Entrada: $0.55
Salida: $2.19
Los precios de los tokens aquí no tienen en cuenta el caché de prompts, que puede reducir drásticamente los costes. Además, la comunidad de IA parece informar consistentemente que Claude 3.5 Sonnet produce código de forma más consistente que los modelos de OpenAI, aunque creo que a menudo van y vienen en su calidad.
No obstante, DeepSeek-R1 es el claro ganador aquí, ya que no solo ofrece la mejor relación calidad-precio, sino la mejor en general. La tabla de clasificación de Chatbot Arena también lo respalda, ya que se clasifica por encima de o1:
Ayer DeepSeek sufrió un fuerte ciberataque, lo que probablemente provocó que su API no funcionara, pero lo he probado de nuevo y ahora funciona. He abierto un tema sobre ese problema también
En cuanto a la privacidad, DeepSeek indica claramente en su política que los datos se almacenan en China (lo que incumple completamente la ley de la UE, por ejemplo), y no es ningún secreto que el PCCh tiene acceso a todos los datos de las empresas en China. Pero si todos son datos públicos, ¿a quién le importa realmente, ya que tu sitio podría ser rastreado/minado teóricamente de todos modos?
Afortunadamente, este modelo es de código abierto y los proveedores de LLM son conscientes de ello. Por ejemplo, fireworks.ai ya ofrece este modelo, aunque creo que están especulando con el precio, a $8.00 de entrada / $8.00 de salida. Por lo tanto, la API de DeepSeek es ciertamente económica.
En mi comunidad, utilizo GPT-4o-mini con RAG (se le obliga a leer un tema relevante antes de responder para proporcionar una respuesta más factual/útil) y una ingeniería de prompts estricta. Aún no me ha fallado y es muy barato a $0.15 de entrada / $0.60 de salida. Sin embargo, no me fiaría mucho de él para codificar; eso sin duda se lo dejo a o1-mini o DeepSeek-R1. Normalmente, entre 1/3 y 1/2 de todos los tokens utilizados en mi comunidad se almacenan en caché (lo que se puede ver en /admin/plugins/discourse-ai/ai-usage), lo que reduce aún más mis costes, ya que los tokens en caché son un 50% más baratos.
Por lo tanto, si mi comunidad utiliza 2 millones de tokens de entrada y 100.000 tokens de salida cada día, mis costes aproximados son:
Coste diario de entrada: ~$0.22
Coste diario de salida: ~$0.06
…multiplicado por 30 días = ~$6.60 de entrada y ~$1.8 de salida = $8.40 al mes.
Eso ni siquiera es dinero para un almuerzo.
4 Me gusta
Esta es prácticamente otra meta-publicación, pero probé DeepSeek con una pregunta sobre ejercicio y pérdida de peso. Obtuve una respuesta realmente mala con toneladas de alucinaciones. Y eso está en línea con otras experiencias que he escuchado.
Por lo tanto, el precio es solo una parte de la historia. Lo que uno obtiene por ese precio es también una parte importante.
1 me gusta
Ah, sí, ese es un buen punto, de hecho. Lo he olvidado porque prácticamente nunca uso LLM sin RAG o alguna otra forma de inyección de información cuando busco conocimiento/información. R1 realmente brilla para mí cuando se trata de generar ideas con “pensamiento crítico”. Todo esto requiere una excelente ingeniería de prompts, sin embargo.
Para aclarar: R1 fue entrenado con aprendizaje por refuerzo orientado al razonamiento desde el principio, por lo que su simple “recuperación de información” interna podría estar produciendo alucinaciones debido a “pensar demasiado”. Pero aún no he leído completamente su artículo de investigación, así que tómalo con cautela, ya que es solo mi intuición.
También es cierto que es fácil “jailbreakear” R1 
También obtuve algunas respuestas incoherentes. Pude usarlo intencionalmente para crear un par de buenos ejemplos de entrenamiento que incluí en un archivo de texto RAG para algo específico. Definitivamente no está listo para el público general. Espero que OpenAI lance un modelo de razonamiento más rentable que podamos usar.
@MachineScholar Realmente quiero agradecerte por tu análisis de costos y por ayudarme a entender esto. Estoy un poco abrumado con toda la información nueva, pero los jóvenes pasantes de informática parecen absorber la información como una esponja. Puede que estén pensando 8 veces más rápido que yo…
Tengo un pasante trabajando en el plugin de IA para dos comunidades diferentes de Discourse. Estamos pagando a los pasantes, pero son baratos y ciertamente entusiastas. El pasante que principalmente hace el trabajo de IA está en un programa de informática de la Universidad de California y a menudo me pregunto cómo son las discusiones en el campus en un grupo tan joven donde el futuro es tan claramente suyo para crearlo.
También me pregunto cómo es tu propio entorno de investigación. Pareces estar profundamente involucrado en la tecnología. Qué buen momento para estar involucrado. Tan emocionante.
Probablemente comenzaré un nuevo tema en mi próxima pregunta. El pasante está implementando Google Custom Search y acceso a tokens de GitHub para el bot de IA. No estoy muy seguro de qué son estas cosas. Sin embargo, espero que el bot de IA pueda acceder a los repositorios de GitHub para revisar la documentación… No estoy seguro de lo que es posible. Tampoco sé si se utiliza la Generación Aumentada por Recuperación (RAG) en el plugin de IA de Discourse.
Con respecto a la eficacia de DeepSeek R1 frente a o1, otro pasante me estaba hablando de usarlo para sus proyectos de CS utilizando la interfaz de usuario de la aplicación web (usando ChatGPT Plus). Por lo tanto, la prueba fue súper informal, pero el entusiasmo por DeepSeek por parte de uno de los pasantes fue grande.
El pasante que realmente está trabajando en la implementación de IA ha sido mucho más reservado sobre las diferencias entre los LLM. Principalmente está proporcionando tablas de costos y uso con comentarios limitados hasta ahora sobre las diferencias de uso. Haremos que todos los LLM estén disponibles para la comunidad y les pediremos que evalúen. Por lo tanto, es inteligente por parte del pasante mantener su opinión baja en este momento.
Gracias de nuevo por tu ayuda en mi camino.
1 me gusta
Deepseek está impactando profundamente en todo el mundo de la IA, los negocios y las corporaciones.
Hacen más con menos en todos los aspectos. Puedes buscar sus diferencias técnicas, encontré información en Reddit usando un cliente local porque no estoy de acuerdo con sus políticas, pero puedes encontrarla allí.
Me impacta su paciencia para trabajar mejor sin miles de millones a través de fondos de capital riesgo. OpenAI es muy caro para muchos países y eso no es de lo que debería tratar Internet o nuestra era digital.
Por supuesto, el Partido Comunista de China (PCC) está directamente involucrado, pero hoy en día las leyes y los gobiernos occidentales corruptos son casi lo mismo.
El modelo está censurado como OpenAI (Plaza de Tiananmen o Gaza) pero funciona muy bien a 1/10-20 del costo común antiguo.
Creo que eso es bueno para los usuarios y la tecnología. Los viejos servicios necesitan cambiar su enfoque o dejar que la gente elija.
1 me gusta
¡Estoy muy feliz de haber podido ayudar!
Sí, estar en informática hoy en día significa tener que ser capaz de adaptarse y aprender extremadamente rápido. A veces es bastante agotador. Me imagino que los campus innovadores en California están a la vanguardia. Estoy familiarizado con muchos laboratorios en universidades de California donde se está realizando investigación de vanguardia en inteligencia y cognición.
Actualmente tengo mi propia empresa en la que desarrollo tecnología educativa inteligente, y también trabajo en un pequeño laboratorio de IA donde intentamos construir una proto-mente y luego encontrar algún caso de uso comercial para ella. En un futuro próximo comenzaré mi propio laboratorio de investigación en mi nicho de interés de investigación, que son los sistemas inteligentes de exploración espacial. El mundo de la IA es bastante emocionante, es cierto, ¡pero una parte de mí a veces desearía que todo se ralentizara para no tener que seguir el ritmo, jaja!
Google Custom Search y el acceso a tokens de GitHub simplemente permitirán que el Bot de IA acceda a Google Search y GitHub (para cosas de programación) respectivamente. Además, el Bot de IA de Discourse sí realiza RAG cuando lee temas o publicaciones en el foro. Lo lee y luego utiliza ese texto como contexto adicional para generar texto más informado.
De hecho, es bueno que sus pasantes sepan cómo seguir las tendencias, sin embargo, también sería inteligente por su parte recordar que los LLM siempre están sobrevalorados, porque es bueno para el mercado. Los grandes desarrolladores de LLM tienen un incentivo para exagerar todo. Aunque, debo admitir, estos sistemas son cada vez más impresionantes con el tiempo.
@oppman ¡No dudes en enviarme un mensaje privado en cualquier momento si necesitas algo! ¡Estamos todos juntos en esto!
2 Me gusta
This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.