Een persona construeren om te leunen op chatgeschiedenis

Ik zou de volgende aanpak aanbevelen:

  1. Verwerk de 10 bestanden met een “Creatieve” persona met behulp van een LLM met grote context / grote output, zoals Sonnet 4 thinking. Het doel van deze verwerking zou zijn om de informatie op te schonen en voor te bereiden op RAG.
  2. Upload vervolgens de 10 verwerkte bestanden met onze ingebouwde upload naar een persona, zodat RAG de inhoud kan doorzoeken.

Gezien de enorme hoeveelheid gegevens hier, raad ik af om een systeemprompt te overladen. Als richtlijn mag een systeemprompt niet erg lang zijn, dit wordt kostbaar. 10k tokens is werkbaar, 100k tokens is niet werkbaar met de huidige frontier LLM’s. Elke interactie zal u te veel kosten en de LLM’s zullen extra in de war raken.

Laat ons weten hoe het gaat!
Deel alstublieft de prompts die u hebt gebruikt om de chatlogs te verkleinen / op te schonen.