Configurando cotas de uso de LLM no Discourse AI

:bookmark: Este guia explica como configurar e gerenciar as cotas de uso para Modelos de Linguagem Grandes (LLMs) no Discourse AI.

:person_raising_hand: Nível de usuário exigido: Administrador

Resumo

As Cotas de Uso de LLM permitem que os administradores controlem e monitorem o consumo de recursos de IA, definindo limites de uso de tokens e interações para diferentes grupos de usuários. Isso ajuda a manter a eficiência de custos enquanto garante acesso justo aos recursos de IA em toda a sua comunidade.

Configuração

Acessando as configurações de cota

  1. Navegue até o painel de administração do seu site
  2. Vá para Admin > Plugins > Discourse AI > LLMs
  3. Selecione o modelo de LLM que deseja configurar

Configurando cotas

Para cada grupo de usuários, você pode configurar:

  • Uso máximo de tokens
  • E/ou Número máximo de interações com IA
  • Duração do período de redefinição

Pelo menos um dos tokens máximos ou usos máximos deve ser definido para cada cota.

:notepad_spiral: Nota: O grupo “everyone” (todos) não pode receber uma cota. Você deve usar grupos específicos (por exemplo, grupos de nível de confiança ou grupos personalizados).

Opções de duração

Escolha entre períodos de redefinição predefinidos:

  • 1 hora
  • 6 horas
  • 24 horas
  • 7 dias
  • Duração personalizada (especificada em horas)

Monitoramento de uso

Visualizando estatísticas

Administradores podem monitorar o consumo de tokens e o consumo de uso em: https://SITENAME/admin/plugins/discourse-ai/ai-usage

  1. Navegue até Admin > Plugins > Discourse AI
  2. Selecione a aba “Usage” (Uso)
  3. Filtre por intervalo de datas, grupo de usuários ou métricas específicas

Experiência do usuário

Notificações de cota

Os usuários recebem feedback claro ao se aproximarem ou atingirem os limites de cota:

  • Status de uso atual
  • Tempo até a próxima redefinição da cota

Mensagens de erro

Quando uma cota é excedida, os usuários veem:

  • Uma notificação clara de que o limite da cota foi atingido
  • O tempo restante até a próxima redefinição da cota

Melhores práticas

  1. Comece conservadoramente: Comece com cotas mais baixas e ajuste com base nos padrões de uso reais
  2. Alocação baseada em grupo: Atribua cotas diferentes com base nas necessidades e funções dos grupos de usuários
  3. Monitoramento regular: Revise os padrões de uso para otimizar as configurações de cota
  4. Comunicação clara: Informe os usuários sobre os limites de cota e os períodos de redefinição

Problemas comuns e soluções

Problema: Usuários atingem limites com frequência

Solução: Considere:

  • Aumentar os limites de cota para grupos específicos
  • Reduzir o período de redefinição
  • Criar grupos especializados para usuários de uso intensivo

Problema: Cotas não utilizadas

Solução:

  • Ajustar os limites para baixo para otimizar a alocação de recursos
  • Revisar as atribuições de grupo para garantir que as cotas correspondam às necessidades do usuário

FAQs

Q: As cotas não utilizadas são acumuladas?
R: Não, as cotas são redefinidas completamente no final de cada período.

Q: Modelos de LLM diferentes podem ter cotas diferentes?
R: Sim, as cotas podem ser configuradas de forma independente para cada LLM.

Q: O que acontece se várias cotas forem definidas para um único LLM?
R: As cotas são baseadas em grupo e aplicadas por usuário. Para que um usuário exceda a cota, ele deve exceder a cota em todos os grupos. Isso significa que, se você der aos administradores uma cota muito relaxada e ao nível de confiança 1 uma mais restritiva, a cota do administrador será aplicada aos administradores.

Q: O que acontece se nenhuma cota for aplicada a um LLM?
R: Nada de especial acontecerá, todo o uso do LLM será ilimitado

Q: E se eu quiser cotas diferentes para recursos diferentes?
R: O Discourse AI permite que você defina vários LLMs que se comunicam com o mesmo endpoint e podem até reutilizar chaves, se você quiser dar uma cota ao AI helper e outra ao AI Agent, defina 2 LLMs.

Q: Como eu removo uma cota?
R: Exclua a cota da página de configuração do modelo LLM. Não há como “pausar” ou desativar temporariamente uma cota — ela deve ser excluída e recriada.

Recursos adicionais

11 curtidas

Parece que não podemos proibir completamente um grupo de usar um modelo específico definindo a cota como 0.

Você poderia adicionar suporte para esta configuração?

Desculpe, você pode expandir aqui. Cada recurso também é restrito por grupo, então você pode habilitar o helper apenas para um subconjunto de usuários de qualquer maneira.

Gostaria que alguns modelos premium fossem restritos apenas a grupos específicos. Seria ótimo se pudéssemos definir a cota de um modelo como 0 para desativar o acesso a determinados grupos.

2 curtidas

Sim, é um problema interessante. Vou pensar sobre isso.

Você pode querer que o helper use o GPT4o para o “grupo especial 1” e o GPT4o mini para o resto das pessoas.

No momento, permitimos apenas selecionar um modelo para o AI helper, então precisaríamos de uma mudança razoavelmente grande para suportar isso.

@Falco / @Saif / @awesomerobot, algo para pensar.

5 curtidas