Você ainda precisa fazer o trabalho pesado. Mesmo ao usar LLMs para criar ferramentas determinísticas, é necessário verificar se essas ferramentas realmente executam as ações corretas, e não apenas algo que estatisticamente costuma estar certo. Usar LLMs para criar ferramentas determinísticas é melhor do que simplesmente enviar prompts a LLMs com arquivos markdown, na esperança de que o resultado seja o mesmo (o que continua sendo problemático do ponto de vista legal e ético). No entanto, se essa ferramenta determinística for mantida cegamente com LLMs, as novas versões correm o risco de perder seu comportamento determinístico ao longo do tempo.
Como a Snyk demonstrou em seu relatório VulnBench, a auditoria com LLMs não é realmente confiável: