Boa observação, isso foi apenas sugerido como uma opção possível. Houve modelos melhores como GPT4-Turbo e Claude 3 desde aquele post de blog que poderiam indicar um melhor desempenho em teoria.
Isso não foi uma crítica à abordagem geral aqui.
Usar um LLM para procurar recursos no texto que possam sugerir que é spam é um objetivo muito bom e acolho a adição de todo o coração.
Meu único problema foi com a afirmação de que você pode identificar automaticamente texto gerado por IA, o que é um problema muito difícil.
Note a distinção:
- Identificar spam geral com LLM = ótimo e posso ver como isso pode ser tratável e muito valioso
- Identificar que o spam foi gerado por IA - com ou sem o uso de um LLM, isso é difícil. Não acho que os modelos atuais sejam capazes de fazer isso bem especificamente e os positivos são provavelmente apenas alucinações.
Eu te entendo! Sim, é uma questão muito mais complexa. Na verdade, nos meus testes originais, tentei configurar para ambos, mas focar apenas em spam provavelmente produz melhores resultados aqui.
Então estamos de acordo.
Acho que há alguns sinais reveladores de IA, no entanto - como o comprimento das postagens e o uso excessivo de linguagem excepcionalmente florida… então talvez esses aspectos possam ser analisados… o comprimento das postagens é provavelmente difícil para um LLM, embora a “floridez” possa ser menos difícil. Você pode usar funções determinísticas para sinalizar o comprimento das postagens, é claro.
Por outro lado, se alguém usou o ChatGPT para refinar, por exemplo, seu inglês (como segunda língua), sinalizar sua postagem provavelmente não será útil para a inclusão geral da Comunidade.
Indo um passo adiante aqui, técnicas gerais de aprendizado de máquina podem ser úteis, mas mais complexas de implementar do que simplesmente enviar texto para um LLM e obter o resultado.