ADDENDUM 2
Ecco un test Q/A con un white paper (~20k token) messo in contesto tramite prompt injection vs RAG. (contenuto e impostazioni sono stati il più possibile gli stessi. LLM = Gemini-1.5-Pro)..
ANALISI:
RAG è incoerente.. a volte trova la risposta, a volte la manca.
Successo prompt injection:
Fallimento RAG:
Traccia richiesta RAG:
Sono riuscito a far rispondere RAG alle domande dall’upload del file all’inizio del documento e, con qualche sforzo, potrebbe guardare al centro e alla fine.. quindi non è un fallimento totale.. ma è incoerente… costantemente, o più difficile da gestire secondo me : )