Fizemos muitos testes com isso e não parece que obtemos resultados confiáveis. Para contexto, estamos usando o modelo gpt-4o.
Para testar sua precisão, dei as seguintes instruções simples:
Você é um sistema de detecção de spam. Analise o conteúdo e o contexto a seguir.
Observações abaixo. Se *QUALQUER* um dos itens for verdadeiro abaixo, marque como spam:
- O nome de usuário é muito especificamente "testjon", então é *SEMPRE* spam.
- Responda apenas com "SPAM - É o Jon!" ou "NÃO É SPAM".
Testar em uma postagem, pelo nome de usuário testjon, resulta em NÃO É SPAM. Parece que ele não está prestando atenção às instruções. Alguma sugestão?
Mais alguém teve alguma experiência boa ou ruim com a detecção de spam por IA?