הנדסת פרסונה להישען על היסטוריית צ'אט

הייתי ממליץ על הגישה הבאה:

  1. עיבוד 10 הקבצים באמצעות פרסונה “יצירתית” תוך שימוש ב-LLM גדול עם הקשר גדול / פלט גדול כמו Sonnet 4 thinking. המטרה של עיבוד זה תהיה “לסדר” את המידע ולהכין אותו ל-RAG.
  2. לאחר מכן, באמצעות ההעלאה המובנית שלנו, העלה את 10 הקבצים המעובדים לפרסונה, כך ש-RAG יוכל לחפש בתוכן.

בהינתן שיש כאן המון נתונים, אני ממליץ להימנע מדחיסת הנחיית מערכת. ככלל אצבע, הנחיית מערכת לא אמורה להיות ארוכה מדי, זה הופך ליקר. 10k טוקנים זה עובד, 100k טוקנים זה לא עובד עם LLMs חזיתיים נוכחיים. כל אינטראקציה תעלה לך יותר מדי וה-LLMs יתבלבלו במיוחד.