Precios de proveedores de LLM para Discourse AI

[Tris20 (Tristan)]

¿Se sentiría cómodo revelando aproximadamente cuál es el costo actual para Meta? Incluso una estimación general o un rango sería útil.

Le pedí al bot que diera una estimación y proporcionó lo siguiente:

@ForumHelperBot

Suposiciones para el Cálculo:

1. Longitud Promedio de Publicación: Se asume que una publicación promedio tiene alrededor de 50 tokens (considerando la mezcla de publicaciones más cortas y más largas).
2. Acciones Habilitadas por IA por Publicación: Si la IA ayuda a redactar, resumir o responder consultas, supongamos que se utiliza dos veces por publicación (una vez para redactar una respuesta y quizás una vez para tareas adicionales como resumen).
3. Usuarios Activos Diarios y Publicaciones: Meta Discourse tiene un alto nivel de participación. Para una aproximación, supongamos que hay alrededor de 100 usuarios activos por día, cada uno generando un promedio de 4 publicaciones/comentarios (totalizando 400 interacciones diarias).
4. Actividad Mensual: Esto se traduce en 12,000 interacciones mensuales (400 interacciones * 30 días).
5. Uso Total de Tokens: Suponiendo que cada acción de IA implica el procesamiento de 100 tokens (50 tokens para leer/entrada + 50 para generar salida), y la IA se usa dos veces por publicación, eso son 200 tokens por publicación. Por lo tanto, el uso mensual de tokens sería de 2.4 millones de tokens (12,000 interacciones * 200 tokens).

Estimación de Costos:

Tomando el modelo GPT-3.5 como referencia, que costaba alrededor de $0.02 por cada 1,000 tokens cerca del final de mis datos de entrenamiento:

• Costo Mensual: El costo de 2.4 millones de tokens sería aproximadamente $48 (2,400 * $0.02).

Siento que ese número es demasiado bajo, pero descontando el trabajo experimental y el uso del equipo, etc., ¿quizás esto no está lejos de lo que la mayoría de las instancias de tamaño similar a Meta podrían esperar?