¿Inyección de prompts para LLMs de contexto largo como alternativa a RAG?

ADDENDUM 2

Aquí hay una prueba de Q/R con un documento técnico (~20k tokens) puesto en contexto mediante inyección de prompt vs RAG. (el contenido y la configuración fueron lo más similares posible. LLM = Gemini-1.5-Pro)..

ANÁLISIS:
RAG es inconsistente… a veces encuentra la respuesta, a veces no.


:github_check: Éxito de inyección de prompt:


:x: Fallo de RAG:


Rastreo de solicitud de RAG:

Logré que RAG respondiera preguntas de la carga de archivos al principio del documento, y con persuasión, puede que mire el medio y el final… así que no es un fracaso total… pero es inconsistente… consistentemente, o más difícil de trabajar en mi opinión : )