يتغير جمهور المنتديات. فبعض قرائك لم يعودوا قراء بالمعنى التقليدي؛ فهم وكلاء يقرأون نيابة عن شخص ما، ويقومون بتلخيص محتواك لتقديم إجابة لشخص قد لا ينقر أبدًا على الرابط أو يصبح عضوًا فعليًا. سواء كنت تدير مجتمع دعم للمطورين، أو منتدى للعملاء، أو ناديًا للجماهير، فإن معرفتك تُسحب حاليًا إلى إجابات الذكاء الاصطناعي.
سؤال حقيقي: لماذا يجب أن أسمح لروبوتات الزحف الخاصة بالذكاء الاصطناعي بإغراق خادمي؟ بالطبع، يوضح المقال أن الخيار سيكون دائمًا بيدي، لكن من منظور تجاري، وباستخدام رديت كمثال على كيفية تعاملهم مع الزحف الآلي، ما هي الفوائد هنا؟
لقد رأيت مؤخرًا أن غوغل ستقوم بإنشاء صفحات مخصصة بناءً على سجل مستخدمين، أي عدد أقل من النقرات لمالكي المواقع ومزيد من المال لشركة ألفابت. إذن، مرة أخرى، ما هي النقطة هنا؟
حاليًا، أسمح لمحركات البحث وأدوات التخزين المؤقت مثل آلة Wayback بقراءة محتوىي وتخزينه مؤقتًا، رغم أنني لا أستطيع رؤية أي شيء سوى تزويد محتوى مستخدميني لشركة ألفابت وشركات أخرى لتربح منه دون أن تستفيد مجتمعتي بأي شيء، ناهيك عن القضايا القانونية مثل قانون حماية البيانات العامة (LGPD) في بلدي أو اللائحة العامة لحماية البيانات (GDPR) في أوروبا.
شكرًا للقراءة المثيرة للاهتمام!
يمكن القول إن هذه واحدة من أفضل ميزات Discourse.
أشعر بالاشمئزاز في كل مرة أبحث فيها عن عنوان URL يعيد بيانات فقط على أي موقع آخر، وأكتشف أنه لا يوجد أي منها.
سيكون رائعًا لو يمكنك دائمًا تضمين روابط لمصادرك عند الإدلاء ببيانات مثل هذه. سيساعد ذلك القراء على التحقق من البيانات 
يعتمد ذلك على هدف المنتدى الخاص بك؛ فإذا كان منتدىً مخصصًا لعلامة تجارية أو للدعم الفني مثلًا، فقد يكون هدفك هو توفير إجابة للناس بأسرع وقت ممكن. وإذا تم دمج المحتوى في تدريب الذكاء الاصطناعي، فقد يكون ذلك مفيدًا. ونأمل أنه إذا كانت المشكلة غير محلولة حقًا، فسوف يجد الناس طريقهم إلى موقعك لطرح أسئلتهم، لكن هذا لا يزال تحديًا إذا لجأوا أولًا إلى الذكاء الاصطناعي.
أما في السياق الاجتماعي، فإن أدوات التجميع الآلي للذكاء الاصطناعي تكون عديمة الفائدة تقريبًا، لأنك ترغب في أن يتفاعل الأشخاص داخل مجتمعك مع بعضهم البعض. وقد يكون هذا سببًا جيدًا لمحاولة حظرها بالكامل.
من وجهة نظري المهنية في العمل مع الذكاء الاصطناعي وتحسين محركات البحث (SEO)، لم يتم إثبات تأثير وأهمية ملف llms.txt بعد. فقد أعلنت جوجل مؤخرًا أنها لا تستخدمه ولا تدعمه. وهذا لا يعني أن وكلاء آخرين لن يفعلوا ذلك. لكنني أردت مشاركة هذه النقطة الدقيقة.
أنا شخصياً لا أفعل ذلك. إنها مجرد رأي شخصي، لكن نماذج اللغة الكبيرة (LLMs) مُمنوعة دائماً من زيارة مواقع الويب الخاصة بي، وستظل كذلك. لا أستمتع بالتبرع بعملي الشاق، سواء كان نصاً أو كوداً، للمحتالين، خاصةً من OpenAI أو Anthropic.
معظم النطاقات الخاصة بي تحتوي على ملفات مثل هذه:
https://pyxfluff.dev/robots.txt
https://pyxfluff.dev/llms.txt
من الواضح أن هذا كله مجرد تفضيل شخصي، لكن هذا الهوس بالذكاء الاصطناعي سيتوقف بمجرد أن يتوقف الناس عن السماح لهذه الشركات بسرقة محتوى مواقعهم. ربما التحديث الأخير من جوجل، الذي يعارضه الكثيرون، سيعيد بعض الحس إلى أصحاب المواقع الذين لن يعودوا يحصلون على أي زيارات لمواقعهم.
للأسف، لا توجد طريقة مضمونة تمامًا لمنع روبوتات جمع البيانات من نماذج اللغة الكبيرة إذا كان محتوى موقعك متاحًا للعامة، حيث سيتجاهل الكثير منها ملف robots.txt وسيعمل حتى على التظاهر بأنه زائر بشري (باستخدام وكلاء مستخدمين وعناوين IP مختلفة) لتجاوز الحواجز. نأمل أن تتمكن بعض اللوائح القانونية من وضع ضوابط للوضع، إذ يبدو أن الكثيرين يفضلون أن يكون لديهم خيار بشأن ما إذا كان سيتم استخدام محتواهم بهذه الطريقة أم لا!
