Configurando quotas de uso de LLM no Discourse AI

:bookmark: Este guia explica como configurar e gerenciar cotas de uso para Modelos de Linguagem Grande (LLMs) no Discourse AI.

:person_raising_hand: Nível de usuário necessário: Administrador

Resumo

As Cotas de Uso de LLM permitem que administradores controlem e monitorem o consumo de recursos de IA, estabelecendo limites no uso de tokens e interações para diferentes grupos de usuários. Isso ajuda a manter a eficiência de custos enquanto garante acesso justo aos recursos de IA em toda a sua comunidade.

Configuração

Acessando as configurações de cota

  1. Navegue até o painel administrativo do seu site
  2. Acesse Admin > Plugins > Discourse AI > LLMs
  3. Selecione o modelo LLM que deseja configurar

Configurando cotas

Para cada grupo de usuários, você pode configurar:

  • Uso máximo de tokens
  • E/ou número máximo de interações com IA
  • E/ou custo máximo
  • Duração do período de reset

Pelo menos um dos valores máximos de tokens ou usos deve ser definido para cada cota.

:notepad_spiral: Nota: O grupo “todos” não pode ter uma cota atribuída. Você deve usar grupos específicos (por exemplo, grupos de nível de confiança ou grupos personalizados).

Opções de duração

Escolha entre períodos de reset predefinidos:

  • 1 hora
  • 6 horas
  • 24 horas
  • 7 dias
  • Duração personalizada (especificada em horas)

Monitoramento de uso

Visualizando estatísticas

Administradores podem monitorar o consumo de tokens e uso em: https://NOMEDOSITE/admin/plugins/discourse-ai/ai-usage

  1. Navegue até Admin > Plugins > Discourse AI
  2. Selecione a aba “Uso”
  3. Filtre por intervalo de datas, grupo de usuários ou métricas específicas

Experiência do usuário

Notificações de cota

Os usuários recebem feedback claro ao se aproximarem ou atingirem os limites da cota:

  • Status atual de uso
  • Tempo até o próximo reset da cota

Mensagens de erro

Quando uma cota é excedida, os usuários veem:

  • Uma notificação clara de que o limite da cota foi atingido
  • O tempo restante até o próximo reset da cota

Melhores práticas

  1. Comece de forma conservadora: Inicie com cotas menores e ajuste com base nos padrões reais de uso
  2. Alocação baseada em grupos: Atribua diferentes cotas com base nas necessidades e funções dos grupos de usuários
  3. Monitoramento regular: Revise os padrões de uso para otimizar as configurações de cota
  4. Comunicação clara: Informe os usuários sobre os limites de cota e períodos de reset

Problemas comuns e soluções

Problema: Usuários atingindo frequentemente os limites

Solução: Considere:

  • Aumentar os limites de cota para grupos específicos
  • Reduzir o período de reset
  • Criar grupos especializados para usuários de alto consumo

Problema: Cotas não utilizadas

Solução:

  • Ajuste os limites para baixo para otimizar a alocação de recursos
  • Revise as atribuições de grupos para garantir que as cotas correspondam às necessidades dos usuários

Perguntas frequentes

P: As cotas não utilizadas são transferidas?
R: Não, as cotas são totalmente resetadas ao final de cada período.

P: Diferentes modelos LLM podem ter cotas diferentes?
R: Sim, as cotas podem ser configuradas independentemente para cada LLM.

P: O que acontece se várias cotas forem definidas para um único LLM?
R: As cotas são baseadas em grupos e aplicadas por usuário. Para um usuário exceder a cota, ele deve exceder a cota em todos os grupos. Isso significa que, se você der aos administradores uma cota muito flexível e ao nível de confiança 1 uma mais restritiva, a cota de administrador será aplicada aos administradores.

P: E se nenhuma cota for aplicada a um LLM?
R: Nada especial acontecerá, todo o uso de LLM será sem medição.

P: E se eu quiser cotas diferentes para recursos diferentes?
R: O Discourse AI permite que você defina múltiplos LLMs que contatam o mesmo endpoint e até mesmo reutilizem chaves, se desejar dar uma cota para o Assistente de IA e outra para o Agente de IA, defina 2 LLMs.

P: Como removo uma cota?
R: Exclua a cota da página de configuração do modelo LLM. Não há como “pausar” ou desativar temporariamente uma cota — ela deve ser excluída e recriada.

Recursos adicionais

12 curtidas

Parece que não podemos proibir completamente um grupo de usar um modelo específico definindo a cota como 0.

Você poderia adicionar suporte para esta configuração?

Desculpe, você pode expandir aqui. Cada recurso também é restrito por grupo, então você pode habilitar o helper apenas para um subconjunto de usuários de qualquer maneira.

Gostaria que alguns modelos premium fossem restritos apenas a grupos específicos. Seria ótimo se pudéssemos definir a cota de um modelo como 0 para desativar o acesso a determinados grupos.

2 curtidas

Sim, é um problema interessante. Vou pensar sobre isso.

Você pode querer que o helper use o GPT4o para o “grupo especial 1” e o GPT4o mini para o resto das pessoas.

No momento, permitimos apenas selecionar um modelo para o AI helper, então precisaríamos de uma mudança razoavelmente grande para suportar isso.

@Falco / @Saif / @awesomerobot, algo para pensar.

5 curtidas