@SimonBiggs após refletir um pouco mais sobre o problema, percebi que pode ser uma abordagem melhor simplesmente criar um serviço externo fechado que possa receber convites para participar de um fórum Discourse, configurar seu perfil e, em seguida, participar como um usuário, usando a API. O perfil seria realista, mas deixaria claro na descrição que é um bot.
Descobri o que o bot faria, mas não precisa ser um plugin real para o Discourse. Ele só precisa ser executado de vez em quando como um cron, e então postar comentários e respostas usando a API do Discourse. O que você acha?
Tenho algumas ideias de casos de uso para tais recursos. Percebo que isso está saindo do tópico para o OP, mas também parece ser o tópico onde todos os interessados em integrar um bot semelhante ao GPT3 estão visitando. Se você se importar em iniciar outro tópico (público ou privado), haverá um único local onde as ideias da comunidade serão coletadas.
Descobri o que o bot faria, mas não precisa ser um plugin real para o Discourse. Ele só precisa rodar de vez em quando como um cron, e então postar comentários e respostas usando a API do Discourse. O que você acha?
Isso certamente faz sentido. No entanto, eu pessoalmente só gostaria de criar ferramentas de IA de código aberto. E, dado que o próprio Discourse está planejando criar uma ferramenta, eu gostaria de ajudá-los em vez disso, idealmente.
Proposta de um Bot de Respostas com Categorização Agendada e Ajuste Fino para Fóruns Discourse
Introdução: Fóruns Discourse dependem do engajamento e das contribuições dos usuários, e um aspecto crucial disso é a capacidade de obter respostas oportunas e precisas para as perguntas. No entanto, às vezes pode levar um tempo para obter uma resposta, desencorajando os usuários a continuar participando da conversa. Para resolver isso, propomos um bot que possa responder automaticamente às perguntas após um período específico para incentivar o engajamento da comunidade. Além disso, o bot alocará chamadas agendadas para categorizar threads existentes e construir seu próprio conjunto de dados de ajuste fino, que pode ser atualizado de tempos em tempos.
Objetivos: Os principais objetivos do bot de respostas com categorização agendada e ajuste fino para fóruns Discourse são:
Incentivar o engajamento da comunidade, fornecendo respostas oportunas e precisas para perguntas que, de outra forma, poderiam permanecer sem resposta.
Automatizar a categorização de threads existentes para garantir que as perguntas sejam corretamente marcadas e que os usuários possam encontrar facilmente informações relevantes.
Construir um conjunto de dados de ajuste fino para o bot, a fim de melhorar seu desempenho e precisão ao longo do tempo.
Solução Proposta: Para atingir os objetivos descritos acima, propomos a integração de um bot que possa responder automaticamente às perguntas após um período específico, alocar chamadas agendadas para categorizar threads existentes e construir seu conjunto de dados de ajuste fino. O bot será projetado para analisar a entrada do usuário, entender o contexto da conversa e gerar respostas apropriadas com base em regras predefinidas e modelos de aprendizado de máquina.
O bot usará técnicas de processamento de linguagem natural (PNL) para analisar a entrada do usuário e gerar respostas relevantes para a conversa. Ele será treinado para entender o contexto da pergunta, o tópico em discussão e as interações anteriores do usuário para fornecer respostas precisas e úteis. O bot responderá apenas a perguntas que não foram respondidas dentro de um período específico ou quando convocado diretamente por um nome de usuário.
Além de responder a perguntas, o bot alocará chamadas agendadas para categorizar threads existentes. Ele analisará o conteúdo e as tags da thread para garantir que as perguntas sejam corretamente marcadas e organizadas para facilitar a navegação. O bot também construirá seu conjunto de dados de ajuste fino registrando e categorizando as consultas e respostas dos usuários. Esse conjunto de dados será usado para treinar e melhorar o desempenho do bot ao longo do tempo.
Benefícios: Os benefícios de integrar um bot de respostas com categorização agendada e ajuste fino para fóruns Discourse são numerosos, incluindo:
Incentivo ao engajamento da comunidade: O bot fornecerá respostas oportunas e precisas às perguntas, incentivando os usuários a continuar participando da conversa.
Melhor categorização de threads: O bot automatizará a categorização de threads, garantindo que as perguntas sejam corretamente marcadas e organizadas para facilitar a navegação.
Melhoria na precisão e desempenho: O conjunto de dados de ajuste fino do bot será usado para treinar e melhorar seu desempenho ao longo do tempo.
Redução da carga de trabalho para moderadores humanos: O bot reduzirá a carga de trabalho dos moderadores humanos, automatizando a categorização de threads e respondendo a perguntas que, de outra forma, ficariam sem resposta.
Conclusão: A integração de um bot de respostas com categorização agendada e ajuste fino para fóruns Discourse é um investimento valioso que pode ajudar a incentivar o engajamento da comunidade, automatizar tarefas de categorização e melhorar a precisão e o desempenho do bot ao longo do tempo. Recomendamos explorar os modelos de PNL e aprendizado de máquina disponíveis para selecionar aquele que melhor atende às necessidades do fórum Discourse. O processo de integração deve ser planejado e executado cuidadosamente, com testes e treinamento adequados para garantir que o bot funcione conforme o esperado.
Este é um ótimo começo, mas infelizmente, como o OP, ainda não atinge o que eu disse que estava procurando no início. No entanto, depois de observar essa área por muitos anos, a menos que eu ganhe na loteria, não conseguirei exatamente o que quero tentando pagar por isso sozinho. Para reiterar, preciso de um bot que não só faça o que você descreve acima, mas também tenha uma memória persistente para discussões anteriores com indivíduos - assim como um humano tem. Como não vou conseguir exatamente o que quero tão cedo, mas o próprio Discourse + a proposta em desenvolvimento para um Bot de IA do Discourse farão MUITO do que eu quero, talvez eu deva colocar todos os meus esforços em ajudar o máximo que puder com esse projeto enquanto continuo a investigar memórias persistentes usando Teoria dos Grafos e outras coisas - que poderiam ser adicionadas mais tarde?
Se a implementação/propostas do Discourse não atenderem às suas necessidades, e você estiver disposto a financiar o desenvolvimento de software de IA de código aberto (Apache-2.0, que o próprio Discourse então ficaria livre para reutilizar), ficarei mais do que feliz em configurar para você um bot de IA para Discourse que tenha memória.
Tudo aqui vai depender do modelo. Vejo muito interesse geral, mas ninguém sugeriu qual modelo usar e ninguém provou que o modelo pode fazer algo remotamente útil.
Mesmo obter boas coisas do OPT é difícil e o Facebook adicionou um bom número de parâmetros. Minha preocupação geral aqui (também para a indústria em geral) é que no espaço aberto não há nada remotamente próximo ao GPT 3 devinci, e o GPT 4 está no horizonte e tornará ainda mais difícil competir.
No post seguinte acima, tanto um modelo quanto a utilidade são detalhados:
O processo é Supabase + OpenAI GPT API. Atualmente, GPT 3.5 + OpenAI embeddings é suficiente para realizar muitas das tarefas desejadas hoje de um bot Discourse.
Minha grande preocupação aqui é a atribuição, especialmente quando um corpus é enorme como um fórum Discourse e tantos dos dados usados para treinar o bot podem estar desatualizados.
Existem algumas grandes questões fundamentais com essa abordagem ClippyGPT. Você não pode substituir a pesquisa por algo que não fornece links de volta para o conteúdo. Treinar isso também seria uma tarefa monstruosa.
Eu também estou no fuso horário de Sydney (Wagga Wagga). Meu endereço de e-mail é me@simonbiggs.net. Vamos organizar um horário para fazer uma videochamada?
Portanto, meu plugin pode usar o GPT3 (por padrão: “text-davinci-003”, mas você pode escolher o modelo) para resumir Tópicos:
Eu já testei (inclusive em Produção) e estou bastante impressionado com os resultados até agora. Eu iria tão longe a ponto de dizer que às vezes é “sublime”.
No entanto, embora muitas vezes retorne resumos relevantes, sintaticamente corretos e convincentes, ele é propenso a imprecisões factuais que podem ser altamente enganosas e prejudicar sua utilidade. Tanto potencial aqui, no entanto!
Note que o plugin ainda é muito experimental, mas agora parece estável. Os resultados variarão, mas existem várias configurações de qualidade de vida para melhorar seus resultados, incluindo um mecanismo de desaprovação com uma configuração de limite que solicitará ao sistema que recupere um novo resumo do LLM.
O ChatGPT não tem suporte para fine-tuning (nem tem uma API para isso, até hoje).
Eu acho que seria interessante treinar um modelo baseado em GPT (seja fazendo fine-tuning do GPT-3 ou usando outra coisa) em um corpus de um site Discourse para ver o quão bem o capitão salada de palavras se sai depois de treinado nos dados e ensinado a responder. Com a ressalva clara de que “lixo entra, lixo sai”.
Experimentos certamente acontecerão, e os modelos GPT mentirosos e excessivamente confiantes melhorarão com o tempo (tanto devido a melhores dados quanto a algoritmos de mitigação que, de alguma forma, verificam fatos).
A postagem de Richard é certamente interessante, mas o ChatGPT ainda não está pronto para a tarefa:
