Se você der acesso a certos membros à IA, o que os impede de usá-la o tempo todo para o trabalho deles, etc., existe alguma maneira de limitar quantos tokens eles podem usar por dia ou semana, etc.?
Não há tais limitações ao usar o Discourse AI, então a resposta é simplesmente nada.
A outra solução, Chatbot, tem limites semanais de quantas solicitações podem ser feitas.
Portanto, você tem que escolher qual se adapta melhor a você. Eu uso ambos. Chatbot para uso mais geral dentro do meu fórum [1] e DAI é limitado com base em um grupo e propósitos (ajustados) usando personas. Então, eu meio que exploro os melhores lados de ambos, porque esses dois apenas se sobrepõem parcialmente.
geral significa tipo de perguntas, caso contrário, ele é ajustado de forma mais especializada ↩︎
4 curtidas
Movendo isso para feature, pretendemos adicionar um sistema de cotas, ele continua aparecendo
Estou pensando em apenas adicionar seletores de grupo com contagens de entrada/saída e duração em cada llm, para que você possa adicionar cotas opcionais.
7 curtidas
Eu meio que preciso de limites de taxa por usuário (não por grupo) agora, então estou tentando criar minha própria solução provisória. Limitar o número de prompts em vez de tokens seria bom. Estou pensando em um webhook em post_event que diga se é uma mensagem privada e um usuário está postando para um bot, para incrementar um campo personalizado ‘ai_query_count’ no usuário. Acho que essa parte funcionaria.
Então, o que fazer se a contagem ficar muito alta? Tentei um pouco de JavaScript em admin > customize > head que lê a contagem do usuário e tenta desabilitar o botão “Responder” se a contagem for muito alta, mas não consigo encontrar um termo seletor para obter o botão.
Ou talvez haja uma abordagem melhor. Qualquer ideia é bem-vinda!
Tecnicamente são os mesmos, você apenas cria um grupo de 1.
Isso deve chegar esta semana e resolver:
4 curtidas
Entendo que as cotas por grupo são boas para gerenciar o orçamento, mas o que impede uma pessoa de monopolizar toda a cota do grupo no início do período? EDIT: E potencialmente monopolizá-la para seu próprio trabalho não relacionado, como o OP perguntou?
Temos 3000 membros. Então criar 3000 grupos? Isso não vai destruir o /g?
2 curtidas
Estou um pouco confuso com esta pergunta, as cotas agora são definidas por grupo e aplicadas por usuário
Se o grupo tem permissão para 1000 tokens, isso significa que nenhum usuário individual tem permissão para mais de 1000 tokens
A cota não é compartilhada entre os usuários, não contra a adição do conceito de cota absoluta se precisarmos dela mais tarde
4 curtidas
Ah. Então eu entendi completamente errado. O recurso diz:
Definir limites de token e uso por grupo com durações configuráveis
Para mim, “limites por grupo” soa como se o grupo como um todo tivesse um limite.
Então é exatamente isso que estou procurando - aguardarei o novo recurso.
2 curtidas
Vou atribuir esta configuração a um estagiário na próxima quarta-feira em um site Discourse auto-hospedado. Preciso dizer a ele para fazer o pull do branch main no GitHub? Ou, se ele adicionar esta linha em app.yml, é suficiente?
hooks:
after_code:
- exec:
cd: $home/plugins
cmd:
- git clone https://github.com/discourse/docker_manager.git
...
...
- git clone https://github.com/discourse/discourse-ai.git
Quero permitir que os recursos do plugin Discourse AI sejam usados apenas por usuários registrados. Esse é o comportamento padrão?
Pelo que vejo, a busca aprimorada por IA não tem controle por grupo???
Para o bot de IA, estou pensando em defini-lo para confiar em 0 e definir um limite de tokens por grupo, aumentando conforme a confiança cresce. Essa é uma boa estratégia?
Isso foi mesclado. Só preciso de um tempo para documentá-lo.
3 curtidas
@sam Obrigado pelo seu trabalho. O estagiário configurou cotas para cada nível de confiança hoje.
Eles ainda não testaram completamente.
Quando o limite do grupo for atingido no dia, o usuário receberá uma mensagem? Essa mensagem pode ser personalizada?
Quero que a IA seja útil, mas nos proteja de abusos. Se uma pessoa quiser usar mais pesquisas de IA, quero enviar uma nota a ela informando que pode entrar em contato com um humano para aumentar o limite. A equipe poderá então movê-la manualmente para um grupo pré-configurado.
No seu exemplo, notei que você está usando o amazon nova pro v1. O estagiário configurou nossa implementação com OpenAI gpt-o4, provavelmente apenas por causa do reconhecimento da marca.
O estagiário ainda está tentando descobrir a eficácia versus os custos de diferentes modelos. Qualquer conselho de alguém do fórum seria maravilhoso.
1 curtida
Sim, isso acontece agora
Muito minimamente, usamos uma string traduzida para que você possa alterar a tradução.
Fechando este pois está completo, sinta-se à vontade para abrir novas perguntas sobre IA!
1 curtida