여전히 상당한 노력이 필요합니다. LLM을 사용하여 결정론적 도구를 만들더라도, 해당 도구가 실제로 올바른 작업을 수행하는지, 단순히 통계적으로 자주 맞는 결과만 내놓는 것이 아닌지 검증해야 합니다. 마크다운 파일을 LLM에 프롬프트로 입력하여 결과가 동일하기를 바라는 것보다(여전히 법적, 윤리적 문제가 존재하지만) LLM을 사용해 결정론적 도구를 만드는 것이 더 나은 방법입니다. 그러나 해당 결정론적 도구를 LLM을 이용해 무비판적으로 유지 관리하게 되면, 새로운 릴리스가 시간이 지남에 따라 결정론적 특성을 잃을 위험이 있습니다.
Snyk가 VulnBench 보고서에서 보여주었듯이, LLM을 이용한 감사(auditing)는 실제로 신뢰할 수 없습니다: