Bisogna comunque fare il lavoro sporco. Anche quando si utilizzano LLM per creare strumenti deterministici, è necessario verificare che questi strumenti eseguano effettivamente le azioni corrette e non semplicemente qualcosa che statisticamente è spesso corretto. Utilizzare LLM per creare strumenti deterministici è meglio rispetto al solo invio di prompt a LLM con file markdown nella speranza che il risultato sia lo stesso (ancora problematico dal punto di vista legale ed etico). Tuttavia, se tale strumento deterministico viene mantenuto in modo acritico con LLM, i nuovi rilasci rischiano di perdere il loro comportamento deterministico nel tempo.
Come mostrato da Snyk nel loro report VulnBench, l’audit con LLM non è davvero affidabile: