Para utilizar ciertas funciones de Discourse AI, se requiere que los usuarios utilicen un proveedor de Modelo de Lenguaje Grande (LLM). Consulte cada función de IA para determinar qué LLM son compatibles.
Si el costo es una preocupación importante, Discourse AI tiene varias herramientas integradas para ayudar a administrar el gasto:
- Panel de uso de IA: rastree el consumo de tokens por función, modelo y usuario con costos estimados.
- Cuotas de uso: establezca límites por modelo y por grupo en tokens o recuentos de solicitudes dentro de ventanas de tiempo configurables (por hora, diarias, semanales).
- Asignaciones de créditos: establezca presupuestos generales de crédito por modelo con límites blandos y duros.
- Presupuestos del lado del proveedor: establezca límites de uso directamente desde el proveedor como salvaguarda adicional.
- Restricciones de grupo: solo permita que usuarios y grupos seleccionados accedan a las funciones de IA.
Existen varios factores variables a considerar al calcular los costos de uso de los LLM.
Una vista simplificada sería…
- Modelo y precios del LLM: Identificar el modelo de LLM específico que planea utilizar y encontrar sus detalles de precios más recientes para los tokens de entrada y salida.
- Tokens de entrada: La longitud promedio de sus indicaciones de entrada en tokens.
- Token de salida: Las respuestas del modelo en tokens.
Ahora repasemos el ejemplo de uso del Bot de IA aquí en Meta.
Se realizaron muchas simplificaciones durante este cálculo, como el uso de tokens, los usuarios que utilizan el Bot de IA y el número promedio de solicitudes. Estas cifras solo deben tomarse como directrices generales. Especialmente porque realizamos muchas experimentaciones con el Bot de IA.
-
Utilice el Panel de uso de IA integrado en
/admin/plugins/discourse-ai/ai-usagepara revisar su uso real de tokens de solicitud/respuesta, desglosado por función, modelo y usuario. -
En promedio, los tokens de respuesta fueron de 3 a 5 veces más grandes que los tokens de solicitud [1]
-
Asuma que un token de solicitud promedio del usuario es de 85, equivalente a <1 párrafo [2]
-
Asuma que un token de respuesta promedio es 85 x 4 = 340 tokens, el equivalente a 3 párrafos.
-
Usando GPT-5.4 mini de OpenAI, el costo para los tokens de entrada sería de $0.75 / 1M tokens = $0.00000075 / token x 85 tokens = $0.000064 para la entrada.
-
Para los tokens de salida sería de $4.50 / 1M tokens = $0.0000045 / token x 340 tokens = $0.00153 para la salida.
-
El costo total por solicitud es $0.000064 + $0.00153 = $0.0016.
-
Durante febrero de 2024, alrededor de 600 usuarios utilizaron el Bot de IA, realizando un promedio de 10 solicitudes para ese mes. Ahora asuma que estos números son consistentes con su comunidad.
-
Esto significaría que para febrero, el costo del Bot de IA sería de $0.0016 x 600 usuarios x 10 solicitudes = $9.56.
-
Si proyectamos esto al costo anual de ejecutar el Bot de IA, serían $9.56 x 12 = $115 para el año por ejecutar GPT-5.4 mini como su LLM de elección.
Para costos aún más bajos, considere modelos de presupuesto como GPT-5.4 nano ($0.20/$1.25 por 1M tokens), Gemini 2.5 Flash ($0.075/$0.30 por 1M tokens), o Claude Haiku 4.5, que pueden reducir los costos entre un 75 y un 95% en comparación con el ejemplo anterior. Siempre consulte los precios más recientes de su proveedor, ya que los costos continúan bajando.
Una estimación observando la comunidad de OpenAI y nuestra propia respuesta a la proporción de tokens de solicitud ↩︎
Mientras observaba el uso promedio de tokens de solicitud del usuario, encontré números tan bajos como 20 hasta >100. Quería encapsular que hubo más solicitudes cercanas a 100 y la suposición allí es que esas solicitudes podrían estar más cerca de oraciones completas y se refieren a indicaciones bien pensadas con muchas preguntas hechas al bot ↩︎