He realizado algunos cálculos y he llegado a la conclusión de que, sin la capacidad de limitar la entrada y salida de tokens de un usuario al mes o al día, uno puede meterse rápidamente en problemas. Actualmente, la única forma de limitar la interacción de un usuario con un bot de IA es permitir que los bots de IA solo funcionen en mensajes privados (desactivando el chat para cada persona) y establecer un límite de mensajes privados diarios permitidos, pero, por supuesto, esto no es realista. Aquí hay un ejemplo de un desglose de costos del “peor escenario” que justifica la necesidad de esta función, utilizando el enfoque que OpenAI utiliza para sus miembros de ChatGPT:
GPT-4o mini con contexto de 32k (P.D. la longitud del contexto se establece utilizando la configuración “Número de tokens para el prompt” en la página de configuración de LLM)
Costo actual: $0.15 1M de entrada / $0.60 1M de salida
Supongamos que el usuario introduce 32k y produce 16k cada día durante 30 días (un ciclo de facturación para una suscripción típica):
Costo de entrada mensual = 960,000 tokens = ~$0.14
Costo de salida mensual = 480,000 tokens = ~$0.28
De acuerdo, eso en realidad no está mal, ¿verdad? Menos de medio dólar. Sin embargo, ese es en realidad un uso bastante bajo, especialmente dado que GPT-4o mini puede generar hasta 16.4k tokens en un solo disparo (aunque sí, por supuesto, puedes diseñar el prompt y la configuración de LLM para evitarlo). Puedes empezar a multiplicar esos costos por la cantidad que creas que tus usuarios usarían el bot de IA. Lo peor es que este es un modelo increíblemente barato; los costos son exponencialmente más altos para Claude 3.5 Sonnet ($3 1M de entrada / $15 1M de salida) y GPT-4o ($5 1M de entrada / $15 1M de salida), y ni siquiera hablemos de GPT-4 Turbo, ¡jaja! Aquí tienes el mismo desglose para Claude 3.5 Sonnet:
Claude 3.5 Sonnet con contexto de 32k
Costo de entrada mensual = ~$2.88
Costo de salida mensual = ~$7.20
Total = ~$10.08
Pero de nuevo; este es un uso bajo. Por lo tanto, queda claro lo costoso que puede ser tener un uso ilimitado de LLM en bots de IA. Si multiplicas esto por 2, necesitarías cobrar una suscripción de $25 para obtener una ganancia de poco menos de $5 
Aquí está lo que propongo formalmente:
- Una configuración que permita una cantidad específica de entrada y salida de tokens para un grupo de usuarios específico cada mes o día para los bots de IA.
- Este uso de tokens NO incluiría el prompt del sistema para las personas.
- Los límites de tokens pueden ser por LLM, por persona o universales/en general.
- Alternativamente al punto 1, se podría usar un límite entero simple para usar bots de IA en DMs y PMs. Ejemplo: límite de 100 DMs a cualquier persona por día.
- Una configuración que permita una cantidad específica de salida de tokens para un grupo de usuarios específico cada mes o día para el asistente de IA.
- La entrada de tokens puede no contarse, ya que sería poco práctico esperar que el usuario adivine cuántos tokens tiene un tema largo cuando, por ejemplo, genera un resumen.
- También podría ser prudente establecer un límite entero estricto en la longitud (en palabras para que no se tenga que usar TikToken aquí) para los prompts personalizados, para que los usuarios no intenten eludir sus límites mensuales/diarios utilizando el Compositor como un chatbot sin medidor
- Un contador de tokens en el perfil del usuario y quizás incluso en sus PMs y DMs. Sería genial si hubiera un pequeño texto junto a cada mensaje de usuario e IA que muestre el número de tokens que es (no queremos necesariamente permitir que todos tengan la función de depuración, y eso solo funciona en PMs de todos modos)
- Un contador de tokens separado para el asistente de IA (para ayudar a mantener estas dos funciones separadas) que comparte un recuento entre explicar, corregir, prompt personalizado, etc.
Nota al margen: No estoy criticando esta función ni a los desarrolladores de ninguna manera y me disculpo si alguna parte de esto suena así. Honestamente, el plugin Discourse AI es una de mis tecnologías favoritas de todos los tiempos. De hecho, me está permitiendo construir el negocio de mis sueños como investigador y educador de IA sin tener que contratar ingenieros adicionales y pagar infraestructura adicional: puedo configurarlo todo yo mismo 
. Simplemente creo que esta función es la última pieza del rompecabezas, no solo para mí, sino para numerosos usuarios de Discourse que quieren que sus usuarios disfruten de esta maravillosa tecnología dentro de lo razonable.
¿Quizás estás alojado y no tienes acceso a mi plugin?
. Y estoy en una instancia droplet, así que ese no es el problema.
Más bien, el problema es mío; estoy intentando hacer algo bastante específico.
. Mi opinión es que tu implementación aquí es la más ideal. Mi comunidad y yo apreciamos enormemente el trabajo que se está haciendo aquí 
¿Estarán los límites de tokens vinculados a las suscripciones? Sería increíble si pudiéramos controlar el uso y permitir que se utilicen modelos más caros por una tarifa.