Estou procurando maneiras de integrar IA ao meu fórum Discourse para auxiliar na moderação. Não preciso que substitua meus moderadores, apenas preciso de ajuda para capturar coisas que os humanos normalmente não conseguem ver. Às vezes, é porque essas questões são literalmente invisíveis para um moderador (como um spammer que está criando várias contas do mesmo endereço IP). Outras vezes, é visível para um moderador, mas é fácil ficar preguiçoso e perder essas coisas (como um tópico postado na categoria errada, ou um tópico que está saindo do rumo).
Existem tarefas infinitas com as quais um moderador de IA poderia ajudar. Apenas algumas ideias que me vêm à mente:
Monitorar todas as novas postagens para indicar a probabilidade de serem de spammers ou usuários legítimos.
Monitorar novos usuários e suas atividades até que atinjam um certo nível de confiança.
Capturar usuários problemáticos criando novas contas após serem suspensos.
Identificar tópicos que foram postados na categoria errada e oferecer sugestões de para qual categoria eles deveriam ser movidos.
Sinalizar e remover imediatamente conteúdo NSFW (Not Safe For Work).
Identificar quando a conversa em um tópico está saindo do rumo ou deve ser bloqueada.
Identificar quando um tópico já foi abordado e deve ser redirecionado.
Identificar quando um usuário criou várias contas (múltiplos usuários fazendo login do mesmo endereço IP).
Identificar quando um usuário está fazendo uma postagem autopromocional ou irrelevante.
Sem mencionar (e isso seria um pouco diferente), há momentos em que a IA poderia até responder a certos tópicos com um perfil de IA claramente marcado. Por exemplo, se alguém postar uma pergunta sobre como usar o fórum ou onde encontrar um determinado recurso (como atualizar o perfil), o bot poderia responder identificando quando é uma pergunta que ele poderia responder facilmente e, em seguida, poderia intervir e explicar como fazê-lo.
Estou mal começando a explorar isso, mas a questão subjacente é: alguém criou um bot de IA que pode auxiliar nesses tipos de tarefas de moderação no Discourse?
Se não, o que está impedindo esse tipo de inovação? Isso parece ser incrivelmente útil para administradores de fóruns, não para substituir humanos (embora isso possa ser possível em alguns casos), mas para ajudar humanos a fazer o trabalho muito melhor.
Não sei, mas eu apostaria: IA é muito não confiável e pode ser muito cara muito rapidamente.
Algumas dessas opções já são possíveis, embora. E não estão em uso comum principalmente porque, bem, a IA é não confiável e precisa de um humano supervisionando-a.
Um atendedor de chamadas que segue todas as postagens e intervém quando acionado pelo conteúdo deve ser caro em termos de hardware e dinheiro puro. Mas um modelo que responde em nível de categoria a todos os iniciadores de tópicos já é possível.
Então, há algo como monitorar IPs que é bastante fácil de cobrir sem IA, mas é realmente problemático. Ter o mesmo IP é bastante comum.
Você já deu uma olhada no Discourse AI e no Discourse Chatbot?
Fiquei sabendo disso ontem mesmo pelo @Jagster (obrigado, Jakke, por apontar isso). Tenho pesquisado um pouco mais sobre isso, especialmente a versão avançada… e se estou lendo corretamente, parece que será um pouco caro implementar isso, seja tendo uma conta de hospedagem Enterprise ou um servidor auto-hospedado bem robusto.
De qualquer forma, é bom saber que isso já existe como uma opção. Parece que isso atende a alguns requisitos importantes, mas consigo pensar em muitas outras maneiras de utilizá-lo. Estou animado para ver como isso continuará a se desenvolver nos próximos meses e anos. Há um potencial enorme para esse tipo de coisa!
Há muitas coisas positivas potenciais para isso, também muitos riscos e desvantagens.
O Stack Exchange tem um bot de IA que revisa as respostas e mencionará isso ao autor se a resposta parecer pouco clara:
“Como está escrito atualmente, sua resposta não está clara. Por favor, edite para adicionar detalhes adicionais que ajudarão outras pessoas a entender como isso aborda a pergunta feita. Você pode encontrar mais informações sobre como escrever boas respostas na central de ajuda. - Bot da Comunidade”
Esse tipo de prompt pode ser muito útil para inspirar explicações mais claras e evitar que as pessoas fiquem confusas, frustradas ou irritadas com respostas pouco claras.
Não é intensivo em recursos na sua instância auto-hospedada porque você pode simplesmente usar modelos hospedados, por exemplo, OpenAI. Assim, você paga apenas pelas chamadas de API para embeddings e chat.
Criei uma integração personalizada para um cliente usando o Discourse.
Coletei atividades de moderação passadas e treinei um NLP para sinalizar tópicos e comentários que precisavam de atenção.
Adicionei um moderador de toxicidade também treinado a partir de suas atividades de moderação passadas.
Adicionei uma integração de sentimento para ajudar a resolver comentários rapidamente.
O treinamento é feito no Google Colab e o modelo é carregado no GCP para servir APIs dos webhooks do Discourse.
Gosto de usar fóruns porque somos todos pessoas reais com um interesse ou objetivo em comum. Quando alguém responde com uma resposta incorreta a uma pergunta, outro usuário certamente aparecerá para fornecer uma correção. Suponho que o mesmo poderia acontecer se uma IA desse uma resposta incorreta, mas simplesmente não é a mesma coisa. Também é útil para nosso próprio raciocínio ler como os outros abordam um problema, muitas vezes cheguei a novas formas de pensar lendo a resposta bem fundamentada de alguém, ou aprendi uma nova maneira de fazer algo que eu pensava que já sabia fazer.
Outra consideração é o potencial de falsos positivos, que podem (e fazem!) afastar as pessoas. Se eu visitar um fórum como um novo usuário e uma máquina sinalizar/marcar erroneamente minha postagem ou me suspender ou o que quer que seja, e for claro que não deveria ter acontecido, eu… provavelmente não voltarei, porque ou me afastarei do site e esquecerei tudo sobre isso, ou ficarei irritado o suficiente para não me preocupar em consertar.
Sinto que o impulso de remover elementos humanos da moderação está indo na direção errada. A moderação às vezes pode ter regras previsíveis - e temos o recurso de palavras observadas, ou correspondência de endereço IP, por exemplo, para lidar com coisas assim. Mas usar um algoritmo para lidar com as coisas “escorregadias” acaba sendo uma perseguição interminável ao algoritmo perfeito, tirando a atenção da construção de uma comunidade mais saudável onde os comportamentos raiz podem ser abordados. No final das contas, minha esperança é que os usuários mudem o comportamento, e tenho que acreditar que eles são capazes disso.
As perguntas rotineiras são oportunidades para as pessoas fazerem conexões humanas, e esses pontos de contato são absolutamente cruciais para desenvolver usuários de longo prazo que defenderão seu fórum. Uma cara amigável que aparece para responder a uma pergunta fácil cria uma atmosfera acolhedora de uma maneira que a IA simplesmente não consegue. Isso é “fruta baixa” do ponto de vista da construção de comunidade!