Il vous faut tout de même faire le travail de terrain. Même lorsque vous utilisez des LLM pour créer des outils déterministes, vous devez vérifier que ces outils effectuent bien les actions correctes, et pas simplement quelque chose qui est statistiquement souvent juste. Utiliser des LLM pour créer des outils déterministes est préférable à se contenter de fournir des fichiers Markdown aux LLM en espérant que le résultat sera le même (ce qui reste problématique sur le plan juridique et éthique). Cependant, si cet outil déterministe est maintenu aveuglément à l’aide de LLM, les nouvelles versions risquent de perdre leur comportement déterministe au fil du temps.
Comme l’a montré Snyk dans son rapport VulnBench, l’audit à l’aide de LLM n’est pas vraiment fiable :