Continuando a discussão de Limite de posts por tópico / usuário / mês:
Olá 
Obrigado pelo seu interesse 
Para mais contexto: Em 2021, meu primeiro projeto com um fórum no Cazaquistão não foi bem-sucedido porque a maioria dos residentes prefere usar Telegram ou WhatsApp. A introdução de plugins para o bot Discourse AI e Chatbot deu ao meu site uma segunda chance, mas agora ele se concentra apenas na comunicação com inteligência artificial (modelos de consulta categorizados, personagens de bot, etc.).
- Em relação ao controle de gastos de tokens: Seria desejável ter um painel separado de estatísticas/configurações para rastrear e gerenciar o gasto de tokens dependendo do personagem do bot (GPT3, 3.5, 4, 4.5t e/ou Assistente de Composição) com o qual se está interagindo. Como administrador, em um mês de uso experimental, já gastei mais de US$ 70 em tokens para consultas do ChatGPT, o que é uma despesa significativa para mim. Agora, como quero fornecer acesso a bots para usuários regulares, começo a me preocupar com meu orçamento, o que é difícil de controlar.
Vamos imaginar uma situação em que concedo acesso à IA para um grupo específico de usuários e digo: “Usem”. Suponha que um usuário gere consultas suficientes em um dia para esgotar meu orçamento. Agora, suponha que outro usuário tente fazer uma consulta à IA e… não receba resposta (nada). O segundo usuário pode não entender por que o bot não respondeu, assumir que o serviço está com defeito e optar por outros serviços.
Para isso, seria apropriado ter um painel separado na aba do usuário onde cada usuário (admin/moderador/usuário regular) possa rastrear e controlar os gastos de tokens, a temperatura do bot, o top (embora isso possa ser colocado no editor de posts, veja o diagrama abaixo) e outras configurações de ajuste fino.
Por exemplo, eu gostaria de definir um limite de valor para mim mesmo e, quando atingido, receber uma notificação para reabastecer o orçamento/tokens. Como diferentes modelos de IA podem diferir no custo dos tokens consumidos, eu gostaria da capacidade de limitar tokens para cada bot para mim e outros grupos de usuários. Cada usuário deve ser capaz de gerenciar independentemente o limite de tokens alocado a seu critério, semelhante ao que um administrador pode fazer. Também seria útil fornecer a alguns grupos de usuários (moderadores, TL4) a capacidade de ajustar finamente as configurações de geração (temperatura, TOP 
, etc.).
Por exemplo, em vez de definir o valor máximo de tópicos semanticamente relacionados a embeddings para todos os usuários, seria prático fornecer esses limites dependendo do grupo de usuários. Assim, o grupo Staff poderia receber um máximo de 7, usuários regulares 3, e assim por diante. Cada usuário deve ter a capacidade de definir esses valores no painel do usuário em sua conta. Essa abordagem democratizaria o uso da IA e a capacidade de controlar os limites de tokens alocados a cada usuário.
Por exemplo, ai helper automatic chat thread title também poderia ser determinado com base no grupo de usuários, dando a cada usuário a opção de ativar/desativar essa função no painel do usuário. ai helper model também poderia ser deixado à escolha do usuário com base no grupo. Se eu der ao Grupo-A a opção de escolher entre GPT4t e GPT3.5t, cada um deles poderia fazer a escolha independentemente.
Também seria possível adicionar a capacidade de grupos privilegiados terem suas consultas priorizadas e enviadas para LLM na frente da fila.
Tentei ilustrar isso com mais detalhes (fiz a ilustração rapidamente, por favor, não me julgue severamente):
Nota: Na imagem acima, tentei refletir possíveis recursos propostos para usuários regulares. Esses recursos podem estar bloqueados e, para deixar claro para o usuário, seria apropriado ter botões para ativar recursos/aumentar limites/adicionar um bot. Esses botões estão destacados em azul e clicar em qualquer um desses botões redirecionaria o usuário para uma página com um convite para ingressar em um grupo privilegiado para mais funcionalidades na interação com a IA.
2) No editor, sugiro:
-
Categorizar bots por tipos (Trabalhando com imagens, texto, áudio, etc.) e configurações adicionais de consulta (ver ponto 1 acima) dentro da interface do Composer.
-
Adicionar a capacidade de limitar o número de caracteres para uma consulta com base no personagem do bot (como uma das alavancas para reduzir a carga do servidor) ou grupo de usuários. Discuti algo relacionado aqui.
-
A capacidade de inserir um modelo de consulta usando o plugin existente Discourse Templates ou possivelmente uma modificação futura (para uso em mensagens pessoais) atualmente em desenvolvimento: Experimental Form Templates.
-
A capacidade de inserir um modelo de dica na área de entrada de texto (semelhante aos modelos de tema de categoria nas configurações de categoria).
Aqui está um exemplo de ilustração:
Nota: Seria aconselhável refletir o limite de entrada de caracteres na parte inferior do editor (como mostrado) na imagem.
Opções adicionais (além das configurações de API) no AI Persona Editor for Discourse, que serão exibidas no editor de mensagens:
PS. Nestes dias, estive um pouco indisposto (estou doente) e algumas das minhas sugestões podem estar um pouco dispersas e não muito claras. Sou um novato no Discourse, não tenho conhecimento de programação e acho desafiador compreender informações neste fórum em inglês, onde as postagens frequentemente contêm termos específicos. Assim, reconheço que minhas ideias (propostas) podem ser um tanto absurdas às vezes, não se alinharem com algumas restrições técnicas do Discourse. Também entendo que a equipe pode ter seu próprio roteiro de projeto para o plugin, que pode não necessariamente se alinhar com minhas visões. No entanto, decidi escrever este post porque acredito que a revolução da IA atrairá muitos usuários para tais serviços e o Discourse já possui todas as capacidades tecnológicas para interagir com IA à frente da maioria dos projetos que surgem no mercado (o fato de a Open AI usar o Discourse para seu fórum diz muito). Portanto, é melhor dizer do que não dizer. Nesse sentido, considere minha proposta como uma perspectiva externa, uma sugestão de um usuário comum (que muitas vezes está acostumado com redes sociais e mensageiros) querendo clareza e funcionalidade de interação, que redes sociais e mensageiros muitas vezes não têm.
Edição. Entendo que a implementação de tal funcionalidade pode exigir grandes custos de mão de obra e financeiros (que nem todo patrocinador pode arcar). Pode valer a pena colocar tais propostas em votação e/ou organizar crowdfunding.
. Fico muito feliz que você me ouviu 
