Aún así, tienes que hacer el trabajo sucio. Incluso al utilizar LLMs para crear herramientas deterministas, es necesario verificar que estas herramientas realmente ejecutan las acciones correctas, y no simplemente hacen algo que estadísticamente suele ser correcto. Usar LLMs para crear herramientas deterministas es mejor que simplemente proporcionar a los LLMs archivos markdown con la esperanza de que el resultado sea el mismo (aunque sigue siendo problemático legal y éticamente). Sin embargo, si esa herramienta determinista se mantiene a ciegas con LLMs, las nuevas versiones corren el riesgo de perder su comportamiento determinista con el tiempo.
Como Snyk mostró en su informe VulnBench, la auditoría con LLMs no es realmente fiable: