Estou apenas acompanhando para observar que a triagem de IA não precisa mais do seguinte, graças ao trabalho de @Roman na melhoria dos prompts
3 curtidas
Olá a todos! Este é mais um comentário de elogio para vocês, pois queria primeiro agradecer a todos por fornecerem as informações aqui, além das postagens que eu havia consultado sobre este recurso.
Ele forneceu um contexto muito necessário sobre como este trabalho foi implementado. Atualmente estou estudando a medição e identificação de modelos de toxicidade online em empresas, mídias sociais e, especialmente, em comunidades menores ou em crescimento, e tenho muitas perguntas, mas nada de grande para relatar ainda.
2 curtidas
Acompanhamento rápido - isso significa que os prompts existentes que já estavam em execução devem ser atualizados?
2 curtidas
Sim, os prompts existentes devem ser atualizados agora para refletir as alterações
2 curtidas
AI Triage é fantástico! Estou ansioso para ver até onde podemos ir com ele a partir do algoritmo clássico de ‘bag of words’. O classificador de posts é um ótimo recurso. Gostaria de saber se há planos para permitir seu uso com a fila de aprovação de posts. ( approve post count, approve unless allowed groups).
Basicamente, usar um classificador não apenas para adicionar à fila para revisão, mas para aprovar ou rejeitar automaticamente da fila. (Não me refiro a lidar apenas com flags, apenas aprovações)
Vejo o triagem de posts por IA e a fila de revisão de posts como complementares.
4 curtidas
Então, para adicionar tags ou alterar categorias, existem atualmente as seguintes opções (corrija-me se estiver errado)
- o usuário usa o AI helper para sugerir tags e categorias de dentro do composer com base em vetores de embedding de vizinhos mais próximos, comparando-os com posts anteriores.
- o administrador configura um classificador de posts de IA separado que executa o tópico através de um LLM para cada tag possível e cada categoria possível, que adiciona a tag ou altera a categoria quando a saída do LLM assim indica. Ele não adicionará tags arbitrárias, cada classificador adicionará apenas uma tag específica sim ou não. Isso não é apenas complicado de configurar e manter, mas também é caro porque você precisa executá-los todos.
O que eu gostaria de ter é um classificador que receba uma instrução como
Você é um assistente de marcação para um fórum. O fórum é sobre X, Y e Z.
Sua tarefa é marcar posts do fórum com uma ou mais das seguintes tags:
- uma tag que especifica se o post está vendendo algo ou procurando algo. Tags: for_sale, wanted, advice
- uma tag que especifica o tipo de item sobre o qual o post é: cars, services, tickets, kids_stuff, home_and_garden, other.
Se você encontrar uma mensagem que seja NSFW, marque-a como NSFW.
Você também pode definir ações para moderar um post.
Se você encontrar uma mensagem que esteja no tópico deste fórum, mas possa ser vista como ofensiva, defina a ação como ‘flag’.
Se você encontrar uma mensagem que esteja fora do tópico, defina a ação como ‘hide’
Isso pode então ser acompanhado pela ótima nova opção structured outputs da OpenAI para retornar uma estrutura json que especifica as tags a serem adicionadas ou a ação a ser tomada, que será então processada pelo classificador.
Algo assim está no roadmap e/ou um PR é bem-vindo? Ou isso seria território de plugin?
7 curtidas
Acho que a maneira mais segura de lidar com isso seria definir uma automação totalmente nova para isso. É estruturalmente muito diferente da atual.
Acho que estaríamos abertos a um PR bem testado para o Discourse AI.
Tenha em mente que o Completion Prompt em AI não suporta saídas estruturadas no momento, este conceito precisaria ser adicionado e implementado para modelos OpenAI, temos muitos modelos, muitos não têm suporte nativo, eu estaria aberto a um PR apenas para fornecer suporte OpenAI para começar, desde que não seja confuso para os usuários finais e permitamos que eles selecionem um modelo que não suporte o recurso.
É uma mudança razoavelmente grande, mas se você se sentir corajoso… vá em frente.
Recomendaria abordar isso em vários PRs, começando por dar suporte a saída estruturada para prompts de conclusão (testado).
9 curtidas
Ao criar uma automação ‘Marcar posts automaticamente’, não consigo selecionar uma tag que foi adicionada a um grupo de tags. Por favor, me informem se existem soluções alternativas para isso. Prefiro manter o grupo de tags existente. Obrigado!
1 curtida
Olá a todos,
Eu entendi isso corretamente? Se eu tiver 50 categorias que usarei para triagem de IA para categorizar automaticamente tópicos nessas categorias, precisarei de 50 automações exclusivas para realizar isso?
A única vez que uma chamada será feita para o LLM é quando quaisquer e todos os novos tópicos forem criados para essa postagem inicial? Parece que o uso de IA não é excessivo para este cenário.
Acho que li que alguém estava considerando outra abordagem para isso, mas pode ser apenas um estágio de ideia, suponho.
3 curtidas
Acho que a resposta para a minha pergunta é que depende de quão granular você quer que a autocategorização seja.
Talvez alguém possa responder: ao usar automação para categorizar tópicos automaticamente, a correspondência da caixa de entrada de pesquisa tem prioridade sobre o uso de IA?
Em outras palavras, se eu definir Banana como o termo de pesquisa na automação e um usuário criar um tópico usando Banana na postagem, Correspondência, Nenhuma IA chamada. Categorizar como banana.
Se o usuário criar um tópico que faz referência a frutas amarelas que os macacos comem, Sem correspondência, o prompt de IA é executado e pode determinar que essa descrição é uma banana 
.
Para este cenário, Banana também seria uma categoria existente.
1 curtida
parte disso se conecta ao que @RGJ falou e a algumas ideias que venho discutindo com @Falco.
Estou meio que me abrindo para permitir que uma persona aja como um agente, então você poderia liberar o agente para fazer várias coisas para você por meio de ferramentas, como categorizar tópicos e assim por diante.
A mecânica aqui está toda no ar, mas estamos pensando nisso.
50 automações é claramente uma solução terrível.
6 curtidas
Olá
O AI Triage pode realizar pesquisas? Pretendo usar um prompt que evite tópicos com títulos semelhantes se a data de criação do outro tópico for inferior a um dia. Isso é possível com o AI Triage?
1 curtida
No momento não, parece que você está descrevendo comportamentos de “agente”. Isso é algo em que certamente estamos pensando!
3 curtidas
Uau, isso funciona perfeitamente!
Estou buscando conselhos: o que devo colocar como limite no número de tokens? Isso é para um fórum com pouco tráfego.
Copiando isto para cá para relevância
1 curtida
Eu acho que esse recurso precisa ser aprimorado. Espero que a IA categorize automaticamente os tópicos e os suporte com tags apropriadas. Não é totalmente automático em seu estado atual (ou eu não entendi). Por exemplo, precisamos escolher uma categoria específica. Na verdade, temos IA, por que ela não faz tudo? Seria uma grande conveniência para usuários e administradores. Se as categorias e tags fossem organizadas automaticamente por IA, poderíamos até incluir o título. Assim, a única coisa que os usuários teriam que fazer é escrever o que querem dizer. Isso nos pouparia segundos e seria uma grande conveniência para os usuários.
A resposta fundamental é que “tudo” significa coisas diferentes para pessoas diferentes. Os padrões ajudam, mas encontrar uma receita que se encaixe perfeitamente para 99% das pessoas é muito, muito difícil. Todas as comunidades são um tanto diferentes.
3 curtidas
Nosso objetivo é facilitar o trabalho das pessoas. Portanto, vamos automatizar isso e, quando necessário, administradores ou usuários autorizados podem editá-lo e fornecer feedback à IA. Esse recurso pode permanecer o mesmo, mas precisamos pensar na determinação de categorias e tags totalmente impulsionada por IA.
Na verdade, minha expectativa é que as pessoas possam criar facilmente novos tópicos como aqui https://ask.discourse.com/ e não percam tempo com categorias, títulos ou tags. Estes podem ser editados posteriormente, se desejado, mas precisamos pensar nos benefícios de fornecer essa conveniência aos usuários.
A probabilidade de a IA fazer isso bem é pequena. Se a pessoa que escreve o tópico não sabe o suficiente sobre a comunidade para saber em que tópico ele deve ir, ou qual é um título razoável, é improvável que ela poste algo valioso para a comunidade.
Onde isso para para você? Por que fazer os usuários escreverem qualquer coisa? A IA não deveria gerar os tópicos e as respostas?
2 curtidas
Concordo com as últimas respostas, mas a categorização automática poderia ser um bom recurso para experimentar.
Talvez uma opção para ativar/desativar o recurso possa atender às diferentes necessidades das diferentes pessoas que Sam apontou.
A UI/UX (interface do usuário/experiência do usuário) para escolher as categorias é difícil para usuários não técnicos. Ninguém quer rolar por menus suspensos e/ou usar mouse + teclado, mas apenas digitar e postar suas mensagens.
1 curtida