Discourse AI requiere vincularse a un proveedor de LLM: este es un enlace a los precios de diferentes opciones. Nivel de usuario requerido: Administrador
Para utilizar ciertas funciones de Discourse AI, se requiere que los usuarios utilicen un proveedor de modelos de lenguaje grandes (LLM) de terceros. Consulte cada función de IA para determinar qué LLM son compatibles.
La siguiente guía enlaza con los precios de diferentes proveedores de LLM.
Tenga en cuenta que los costos pueden variar según múltiples factores, como el número de solicitudes, la longitud del texto, los recursos computacionales utilizados, los modelos elegidos, etc. Para obtener los precios más actualizados y precisos, consulte periódicamente con cada proveedor.
Ejecute su propio modelo tipo Llama2 de código abierto con TGI: El costo de ejecutar su propio modelo tipo Llama2 de código abierto con TGI dependería de varios factores, como los costos de infraestructura, los costos asociados con el ajuste fino del modelo y los costos de gestión y mantenimiento del modelo.
Esta no es una comparación estadísticamente válida, pero basándome en mis pruebas cortas, usar OpenAI GPT-4 es tres veces más caro que GPT-3.5 Turbo si se cuentan las llamadas a la API y la cantidad de tokens utilizados, y dado que los tokens utilizados por GPT-4 son más caros, la diferencia es mucho mayor.
Y no obtuve ningún beneficio con GPT-4 en comparación con 3.5 Turbo.
Y como descargo de responsabilidad: usé finés, por lo que el inglés puede ser diferente. Además, cualquier IA es totalmente inútil en el uso de chat cuando se usa finés, pero eso es un juego completamente diferente, pero significa que, desde mi punto de vista, todos los chatbots son una pérdida total de dinero cuando se usan idiomas pequeños.
Los costos aquí son estimados y se acordó que los costos pueden variar drásticamente según el uso.
Es importante tener en cuenta que para muchas tareas básicas, la diferencia entre los modelos GPT-4 y GPT-3.5 puede no ser significativa. Sin embargo, GPT-4 tiene algunas diferencias sustanciales en cuanto a sus capacidades, comprensión creativa y entrada bruta.
También estoy de acuerdo en que para idiomas que no son populares, las habilidades del modelo dejan mucho que desear.
Creo que estamos hablando de lo mismo, pero para estar seguros : ese es un problema de las empresas de IA y tú, yo o cualquier desarrollador no podemos cambiar ese hecho.
Pero estoy buscando algo como que todos sigamos un poco cuánto dinero estamos gastando (si no estamos usando dinero de otro presupuesto que no sea de nuestro bolsillo ) y tratando de encontrar un equilibrio entre la utilidad muy subjetiva y el dinero.
Y no, no sé de qué estoy hablando. Principalmente porque las respuestas de todos los chatbots se basan básicamente en el zumbido en inglés de millones de vuelos (cantidad sobre calidad). La situación puede cambiar, para mejor o para peor, depende, si tenemos mejores herramientas para educar a la IA sobre qué fuentes puede usar. Claro, las tenemos, pero costará mucho más que el precio de los tokens.
Y sí, ese es el dolor de cabeza de los pequeños jugadores.
Me pregunto… ¿hay alguna posibilidad de que podamos obtener un mejor equilibrio costo/precisión con una edición de indicaciones más libre?
¿Se sentiría cómodo revelando aproximadamente cuál es el costo actual para Meta? Incluso una estimación general o un rango sería útil.
Le pedí al bot que diera una estimación y proporcionó lo siguiente:
Siento que ese número es demasiado bajo, pero descontando el trabajo experimental y el uso del equipo, etc., ¿quizás esto no está lejos de lo que la mayoría de las instancias de tamaño similar a Meta podrían esperar?
El precio del token que mencionó el bot no es exacto. Los precios actuales para gpt-3.5-turbo-0125 son de $0.50 por 1 millón de tokens de entrada y $1.50 por 1 millón de tokens de salida. Asumiendo la mitad de entrada y la mitad de salida, 2.4 millones de tokens solo deberían costar $2.40. gpt-4 cuesta $30/m de entrada y $60/m de salida, lo que resultaría en $108 por 2.4 millones de tokens.
Actualicé el OP para que solo contenga los enlaces, estoy de acuerdo en que los precios cambian constantemente y es mejor obtener la información más actualizada.
Con el creciente conjunto de proveedores y LLM, es mejor que los usuarios consulten directamente con el proveedor. Por lo tanto, eliminaremos este tema.
Discourse AI requiere vincularse a un proveedor de LLM: este es un enlace a los precios de diferentes opciones.
Nivel de usuario requerido: Administrador
Tenga en cuenta que los costos pueden variar según múltiples factores, como el número de solicitudes, la longitud del texto, los recursos computacionales utilizados, los modelos elegidos, etc. Para obtener los precios más actualizados y precisos, consulte periódicamente con cada proveedor.
: ese es un problema de las empresas de IA y tú, yo o cualquier desarrollador no podemos cambiar ese hecho.