Lo sé, preguntas como cuánto es mucho o es emacs mejor que vi, cuando existe nano son difíciles e imposibles de responder, pero aun así.
Estoy considerando crear una nueva instancia en DigitalOcean solo por estas cosas de IA. Entonces, ¿cuál ofrece la mejor relación dinero/beneficio en un foro de bajo tráfico con muy poco dinero involucrado, y cuando el objetivo es 16 GB de RAM?:
básico, 112 € — 8 núcleos Intel o AMD
general, 126 € — 4 núcleos
optimizado para CPU, 168 € — 8 núcleos Intel normales
optimizado para memoria, 84 € — 2 núcleos
(El USD es casi lo mismo que el euro hoy en día)
De nuevo, no sé nada, pero como Discourse es una aplicación dependiente del cliente o algo así, totalmente diferente de WordPress basado en PHP, no necesita tanta potencia de CPU, ¿o estoy totalmente perdido? ¿Pero las soluciones de IA cambian completamente ese panorama y necesitan RAM y CPU?
Y la pregunta real y actual es, por supuesto: ¿cuáles son los costos mínimos si uno quiere, por ejemplo, el bloque de Temas Relacionados?
El principal problema con la IA de “Temas relacionados” es que tienes que generar incrustaciones para todos tus temas existentes. En foros grandes, esto lleva tiempo y es la parte “costosa” de la operación. Sin embargo, solo necesitas ejecutar esto una vez, por lo que puedes aprovechar instancias por hora para pagar lo mínimo aquí.
Una vez que tengas todas esas incrustaciones generadas, solo necesitas generar nuevas para temas nuevos y editados, y ahí probablemente puedas funcionar con inferencia basada en CPU.
Así que digamos que ahora tienes:
Una instancia en Digital Ocean ejecutando Discourse
Durante el backfill puedes tener:
Una instancia en Digital Ocean ejecutando Discourse
Una instancia en Digital Ocean ejecutando PostgreSQL para almacenar las incrustaciones
Un VPS en Vultr para calcular incrustaciones rápidamente
Después del backfill, lo cambias a:
Una instancia en Digital Ocean ejecutando Discourse
Una instancia en Digital Ocean ejecutando PostgreSQL para almacenar las incrustaciones y ahora también el servicio de incrustaciones
En cuanto al tamaño de la instancia para la 2, una pequeña con 4 GB de RAM puede ser suficiente, tengo que comprobar cuánta RAM está utilizando ese contenedor del servicio de incrustaciones.
Estamos trabajando activamente en ello y haremos muchos cambios en las próximas semanas a medida que implementemos este plugin en nuestros clientes empresariales y recibamos comentarios.
Dicho esto, gastar menos de 10 $ para probarlo y proporcionar esta función a tu comunidad y poder ofrecer comentarios tempranos me parece una gran oferta, pero depende de tus restricciones de dinero y tiempo.
Una cosa que sabemos que sucederá es que, por el momento, solo usamos el OP en las incrustaciones de temas relacionados, y experimentaremos pasando el OP y las respuestas que quepan en su lugar, lo que significa que tendremos que regenerar todas las incrustaciones nuevamente. Eso te costaría 3 $ y 1 hora de tu tiempo nuevamente.
