La próxima semana explicaré la integración de Discourse AI al equipo. Ya tenemos algunas claves de API, PERO, todas son para cuentas DE PAGO.
Estoy seguro de que me preguntarán: ¿Hay alguna característica que se pueda integrar y que se pueda usar de forma gratuita? Esto es para una escuela y estamos seguros de que los estudiantes querrán usar todo, pero los costos serán astronómicos.
Gracias
No. No es gratis.
En realidad, llama3 es gratis, pero por lo que puedo entender, se necesita una computadora de $300,000 para ejecutarlo.
Si tienes algo de presupuesto, podrías configurarlo de tal manera que pagues esa cantidad mensualmente al servicio que quieras pagar y, cuando se agote para el mes, se agote para el mes. Intentarías establecer límites para que no sucediera la primera semana (o día). Sería complicado configurarlo de tal manera que los maestros que quisieran usarlo como parte de la clase pudieran contar con él.
Como escuela, tal vez puedan registrarse para obtener créditos educativos gratuitos en servicios como AWS, Azure o GCP y usarlos para potenciar las funciones de IA de Discourse.
Gracias, eso es lo que planeaba decirles. No es gratis. El plan por ahora es seguir utilizando instancias locales de Gpt4All y LmStudio.
Por si sirve de algo, puedes ejecutar la versión 70b de Llama3 con 48 GB de VRAM, que puedes conseguir relativamente fácil con un par de Nvidia RTX 3090 usadas de eBay por unos 750 dólares cada una. Montar el resto de un sistema para soportarlo costaría alrededor de 3000 dólares, espero. 
¡Eso es una mejora de 100 veces! Puedo imaginar que una escuela tenga tanto dinero, pero tengo bastante imaginación.
Muchas gracias por eso. Mayormente no entiendo los requisitos de hardware.
Puedes verlo de otra manera.
¿Por qué no pruebas el uso de IA y observas los paneles de costos durante un mes? Luego decides si quieres continuar.
Solo en los últimos 12 meses, el costo de los modelos capaces ha bajado MUCHO.
El gpt4o-mini de OpenAI es muy capaz y muy barato ahora (pero todo es relativo).
Bueno, mini me ha fallado siempre. Pero eso merece otro tema en otro lugar.
Sí, también puede depender del idioma.
Gemini Flash es muy barato y la API de DeepSeek es tan barata que es casi gratis.
Si necesitas ejecutar localmente, puedes construir una máquina por menos de $1000 que pueda ejecutar modelos Llama. Construí una máquina 4xP100 por $1000 que tiene 64 GB de VRAM. Pero una máquina 2xP40 con 48 GB de VRAM sería suficiente para ejecutar Llama 70B y se puede construir por $600 si compras piezas de segunda mano.
Para lo último en economía, podrías ejecutar en una sola GPU P40 con cuantización AQLM, pero esto sería bastante lento (~1 tok/s).
No tienen dinero
Interesante que nadie esté teniendo en cuenta los costos de electricidad para todas estas soluciones de autoalojamiento. Supongo que esa es una factura consolidada que de todos modos no se puede rastrear hasta una máquina específica…
Acabas de tocar un tema que un amigo que trabaja para una empresa de servicios públicos mencionó el otro día como consecuencia del trabajo remoto. Las unidades de aire acondicionado/calefacción ahora funcionan sin parar porque la gente tiene que usarlas sin parar. El resultado han sido facturas de servicios públicos astronómicas para muchos.
Tenga en cuenta que los planes alojados de Discourse incluyen temas relacionados incluidos en el plan. Esto funciona con incrustaciones de IA.
Algunos proveedores como Cloudflare ofrecen un nivel gratuito con una generosa cantidad de uso para quienes se autoalojan.