Para usar ciertas funciones de Discourse AI, los usuarios deben usar un proveedor de Modelo de Lenguaje Grande (LLM). Consulte cada función de IA para determinar qué LLM son compatibles.
Si el costo es una preocupación importante, una forma de combatirlo es establecer límites de uso directamente desde el proveedor y usar un presupuesto mensual. Otra opción es permitir que solo usuarios y grupos seleccionados accedan a las funciones de IA.
Hay varios factores variables a considerar al calcular los costos de uso de los LLM.
Una vista simplificada sería…
- Modelo y precios de LLM → Identificar el modelo LLM específico que planea usar y encontrar los detalles de precios más recientes para tokens de entrada y salida.
- Tokens de entrada → La longitud promedio de sus indicaciones de entrada en tokens.
- Token de salida → Las respuestas del modelo en tokens.
Ahora repasemos el ejemplo de uso de AI Bot aquí en Meta.
Se hicieron muchas simplificaciones durante este cálculo, como el uso de tokens, los usuarios que usan AI Bot y el número promedio de solicitudes. Estos números solo deben tomarse como directrices generales. Especialmente porque realizamos muchas experimentaciones con AI Bot.
-
Usar Data Explorer para comprender los tokens promedio de solicitud/respuesta y todos los demás datos aquí.
-
En promedio, los tokens de respuesta fueron de 3 a 5 veces más grandes que los tokens de solicitud [1]
-
Suponga que un token de solicitud de usuario promedio es de 85, equivalente a menos de 1 párrafo [2].
-
Suponga que un token de respuesta promedio es de 85 x 4 = 340 tokens, el equivalente a 3 párrafos.
-
Usando GPT-4 Turbo de OpenAI, el costo para los tokens de entrada sería de $10 / 1M de tokens = $0.00001 / token x 85 tokens = $0.00085 para la entrada.
-
Para los tokens de salida, sería de $30.00 / 1M de tokens = $0.00003 / token x 340 tokens = $0.0102 para la salida.
-
El costo total por solicitud es $0.00085 + $0.0102 = $0.01105.
-
Durante febrero de 2024, alrededor de 600 usuarios estaban usando AI Bot, realizando un promedio de 10 solicitudes para ese mes. Ahora suponga que estos números son consistentes con su comunidad.
-
Esto significaría que para febrero, el costo de AI Bot sería de $0.01105 x 600 usuarios x 10 solicitudes = $66.
-
Proyectando esto al costo anual de ejecución de AI Bot, serían $66 x 12 = $792 al año por ejecutar GPT-4 Turbo como su LLM de elección.
¡Ahora con GPT-4o puede reducir a la mitad ese costo final aún más!
Una estimación basada en la comunidad de OpenAI y nuestra propia respuesta a la relación de tokens de solicitud ↩︎
¿Cuántas palabras son 85 tokens? Al observar el uso promedio de tokens de solicitud de usuario, encontré números tan bajos como 20 y más de 100. Quise encapsular que hubo más solicitudes cercanas a 100 y la suposición allí es que esas solicitudes podrían estar más cerca de oraciones completas y referirse a indicaciones bien pensadas con muchas preguntas hechas al bot ↩︎