Discourse Chatbot 🤖

Chatbot 1.3 foi lançado :tada:

  • RECURSO: adicionar opção para gerenciar cotas por token
    • a nova configuração chatbot_quota_basis permite que você opte por ela, caso contrário, ela permanecerá por número de consultas
    • a única diferença por padrão é que a cota conta para baixo a partir da cota máxima inicial (que ainda é baseada nas mesmas configurações de nível de confiança).
  • RECURSO: incluir custo de chamadas de API como DALL-E no consumo do usuário
    • apenas base de token
    • várias novas configurações para ajustar e influenciar o custo de token dos recursos da API
  • RECURSO: adicionar função para permitir que o usuário verifique sua cota restante

O Chatbot sempre incluiu a capacidade de impor uma cota de uso.

Hoje, isso se torna mais sofisticado!

O Chatbot agora pode rastrear e impor uma cota de uso por token.

Você pode calcular o custo de chamadas para APIs para desencorajar o uso excessivo, para que você possa se preocupar menos em dar às pessoas acesso à geração de imagens, por exemplo.

O rastreamento de tokens é opcional. Se você mudar para o rastreamento de tokens, certifique-se de aumentar a cota de cada nível de confiança, pois os valores precisarão ser algumas ordens de magnitude maiores. Experimente.

No entanto, o rastreamento por consulta mudou ligeiramente. Agora ele será redefinido para o seu número máximo de consultas permitidas e contará para baixo até zero.

Você pode considerar executar o trabalho de redefinição de cota global uma vez como um evento único para garantir que todos comecem com uma cota completa. Isso é um evento único!

No sidekiq em /sidekiq/scheduler:

Clique no botão trigger.

Em ambos os casos, os usuários agora podem perguntar quanta cota lhes resta:

NB: problema conhecido: se essa pergunta for feita pela primeira vez antes que o trabalho de redefinição tenha sido executado, a resposta pode ser um pouco estranha! Independentemente da execução do trabalho de redefinição, na segunda vez que essa pergunta for feita, ela deverá funcionar bem.

4 curtidas