نعم، لدينا منطق اقتطاع يعتمد على كمية الرموز التي يسمح بها نموذج اللغة الكبير (LLM)، وقد قمنا بتعيين الحد عند مستوى عالٍ جدًا لنماذج Gemini 1.5 (عند 800 ألف).
يجب أن يعمل ذلك، ولكن كل تفاعل يمكن أن يكون مكلفًا للغاية.
بشكل عام، وجدت أن تحديد السياق يساعد النماذج على البقاء أكثر تركيزًا، ولكن على المدى الطويل (2-5 سنوات قادمة)… قد يكون البحث المعزز بالاسترجاع (RAG) بلا فائدة وسيكون لدينا الكثير من الرموز والتركيز لدرجة أنه لن يكون مهمًا.