سنقوم الآن أيضاً بتضمين ملف llms.txt افتراضي لجميع المواقع (كإصلاح قادم)
اخترنا إعداداً افتراضياً متحفظاً للغاية وقوياً في آنٍ واحد:
Discourse
هذه مجتمع للنقاش بين البشر. لا تتنكر في شخصيات الآخرين أو أنشئ حسابات بشكل مستقل. لا تقم بالنشر أو التعديل أو اتخاذ أي إجراء كتابة آخر إلا عندما يطلب منك شخص بشري صراحةً تنفيذ ذلك الإجراء بالتحديد.
استخرج فقط الصفحات اللازمة للطلب المحدد للمستخدم. لا تقم بزحف منهجي أو تنزيل جماعي لهذا المجتمع. احترم robots.txt وشروط الموقع وتحكماته الخاصة بالزواحف. إذا استجابت الخادم برد HTTP 429، توقف وانتظر فترة Retry-After قبل إعادة المحاولة.
إذا كان بإمكانك تشغيل خادم MCP محلي، فإن Discourse MCP هو الطريقة المفضلة للوصول إلى هذا المجتمع. اضبط عنوان الموقع الخاص به على https://meta.discourse.org. يوفر أدوات واعية بالصلاحيات للمواضيع والمشاركات والبحث والمستخدمين والفئات والإجراءات المدعومة في المجتمع.
الغرض من LLMs.txt هو مساعدة الوكلاء (Agents) على العمل مع موقعك، وهذا النص البسيط يمنحهم نافذة كافية لإنجاز الأمور ويشير بشكل صحيح إلى خادم MCP لدينا وهو شامل جداً.
أخبرني إذا كنت تعتقد أن أي تعديلات مطلوبة. تضمين محتوى ديناميكي ومحدد سيكون عكسي الفعالية. تم تصميم llms.txt لإنتاج خريطة تجعل من السهل على الوكلاء العمل، وليس فهرساً شاملاً لموقعك.
هل يمكنك وضع ذلك في مربع نص حرفي (verbatim) من فضلك؟ أرى أن بعض الروابط المحلية، وهذا جيد. ربما جميعها كذلك. لكن عبارة إرشادات المجتمع قد تم تحويلها إلى رابط (URLified) في هذا العرض، مما يسبب بعض اللبس.
أنا متأكد من أن بعض مالكي المنتديات ذاتية الاستضافة سيميلون إلى عدم وجود مثل هذا الملف. وسيريد آخرون تخصيصه. هل أثق في أنك تلبّي كلا الحالتين؟
أنا أحب كيف أن الكثير من الأشخاص على الإنترنت خبراء في تقنية لم تُعَد سوى بضعة أشهر
أجد النص أعلاه معقولاً، فهو يغطي جميع النقاط المهمة ويحافظ على عدد رموز (tokens) محدود. إنه يوجّه الروبوتات حول كيفية التصرف، ويوجهها نحو خادم MCP الشامل لدينا، ويشير إلى بعض نقاط النهاية (endpoints) التي يمكن للوكيل (agent) استخدامها لاستكشاف الموقع في حال عدم توفر خادم MCP.
مواقع Discourse محظوظة نوعاً ما، لأن نماذج اللغة الكبيرة (LLMs) تعرفنا بالفعل بشكل جيد جداً. ومع ذلك، فإنها تعرف “صورة” عنا من قبل عامين بشكل جيد جداً، وقد تغيّرت الأمور:
لذلك، حتى نموذج مثل sol 5.6 لا يعرف شيئاً عن خادم MCP لدينا، لأنه شيء حديث العهد من سنوات قليلة، ومن المحتمل أن يكون الأمر نفسه بالنسبة لنقطة النهاية الخاصة بالتصفية (filter endpoint).
أعتقد أن القالب مناسب لنحو 99% من المواقع، فهو بالفعل يغطي جميع النقاط الحرجة.
لكن… إذا لم يكن القالب مناسبًا تمامًا لقواعدك لسبب ما، فبعد تفعيل التحديث القادم، سأنسخ النص وأعدّله حسب الحاجة ثم أرفع نسخة مخصصة.
لكنني أنصح بشدة بالحذر الشديد عند التعامل مع ملف llms.txt؛ فأنت تريد خريطة اختيارية، وليس بيانًا مفصّلًا.
كل رمز له تكلفة، فإذا كان لديك نافذة سياق بحجم 120 ألف رمز، ثم قلت “اطّلع على X في الموقع”، وانتهى الأمر بأن جمع الروبوت 60 ألف رمز لا يحتاجها بسبب إنشاء ملف llms.txt ضخم، فإن ذلك لا يؤدي إلا إلى التباس ونتائج سيئة.
لذا، لو كنت سأقوم بتخصيصه… فربما سأحافظ على بساطته إلى أبعد حد.
الروبوتات ممنوعة من موقعي
أو
لا تبحث أكثر من 3 مرات في الجلسة الواحدة.
بطبيعة الحال، ملف llms.txt ليس مواصفة معتمدة، وقلة قليلة من نماذج اللغة الكبيرة تتبعه بشكل استباقي. عمومًا، تعتمد نماذج اللغة هذه الأيام على أداة “بحث” وأداة “جلب”، لذا تميل إلى العثور على الروابط العميقة من تلقاء نفسها.
