Chatbot de Discourse 🤖

Se ha lanzado Chatbot 1.3 :tada:

  • CARACTERÍSTICA: añadir opción para gestionar cuotas por token
    • la nueva configuración chatbot_quota_basis te permite optar por ella, de lo contrario, seguirá siendo por número de consultas
    • la única diferencia por defecto es que la cuota se cuenta hacia abajo desde la cuota máxima inicial (que todavía se basa en la misma configuración de nivel de confianza).
  • CARACTERÍSTICA: incluir el coste de las llamadas a la API como DALL-E en el consumo del usuario
    • solo base de tokens
    • varias configuraciones nuevas para ajustar e influir en el coste de tokens de las funciones de la API
  • CARACTERÍSTICA: añadir función para permitir al usuario comprobar su cuota restante

Chatbot siempre ha incluido la capacidad de aplicar una cuota de uso.

¡Hoy esto se vuelve más sofisticado!

Chatbot ahora puede rastrear y aplicar una cuota al uso por token.

Puedes calcular el coste de las llamadas a las API para disuadir su uso excesivo, por lo que puedes preocuparte menos por dar acceso a la generación de imágenes, por ejemplo.

El seguimiento de tokens es opcional. Si cambias al seguimiento de tokens, asegúrate de aumentar la cuota de cada nivel de confianza, ya que los valores deberán ser unos cuantos órdenes de magnitud mayores. Experimenta.

Sin embargo, el seguimiento por consulta ha cambiado ligeramente. Ahora se reiniciará a tu número máximo de consultas permitidas y contará hacia abajo hasta cero.

Podrías considerar ejecutar el trabajo de reinicio de cuota global una vez como algo puntual para asegurarte de que todos comiencen con una cuota completa. ¡Esto es solo una vez!

En sidekiq en /sidekiq/scheduler:

Pulsa el botón de activación.

En cualquier caso, los usuarios ahora pueden preguntar cuánta cuota les queda:

NB: problema conocido: si esta pregunta se hace por primera vez antes de que se ejecute el trabajo de reinicio, la respuesta podría ser un poco extraña. Independientemente de si el trabajo de reinicio se ejecuta, la segunda vez que se haga esta pregunta debería funcionar bien.

4 Me gusta