ADENDO 2
Aqui está um teste de Perguntas e Respostas com um white paper (~20k tokens) colocado em contexto via injeção de prompt vs RAG.. (conteúdo e configurações foram os mesmos o máximo possível. LLM = Gemini-1.5-Pro)..
ANÁLISE:
RAG é inconsistente.. às vezes encontrando a resposta, às vezes falhando.
Sucesso na injeção de prompt:
Falha no RAG:
Rastreamento da solicitação RAG:
Consegui fazer o RAG responder a perguntas do upload do arquivo no início do documento, e com persuasão, ele pode olhar o meio e o fim.. então não é uma falha total.. mas é inconsistente… consistentemente, ou mais difícil de trabalhar na minha opinião : )