Die Grundarbeit muss man trotzdem selbst erledigen. Selbst wenn man LLMs verwendet, um deterministische Tools zu erstellen, muss man überprüfen, ob diese Tools tatsächlich die richtigen Aktionen ausführen und nicht einfach nur etwas tun, das statistisch häufig korrekt ist. LLMs zur Erstellung deterministischer Tools zu verwenden, ist besser, als LLMs einfach mit Markdown-Dateien zu prompten und zu hoffen, dass das Ergebnis gleich ausfällt (was immer noch rechtlich und ethisch problematisch ist). Wenn jedoch ein solches deterministisches Tool blindlings mit LLMs gewartet wird, besteht bei neuen Releases das Risiko, dass es im Laufe der Zeit sein deterministisches Verhalten verliert.
Wie Snyk in ihrem VulnBench-Bericht gezeigt hat, ist das Auditieren mit LLMs nicht wirklich zuverlässig: