وكيل المستخدم: lfc-discourse-public-crawler

ساهم خلل
1

مساء الخير،

هذا ليس خطأً تقنيًا بقدر ما هو محاولة للحصول على مزيد من المعلومات حول ما يبدو أنه جلب بيانات آلي (AI scraper) عدواني.

في لوحة تحليلات Cloudflare الخاصة بي، أرى أن 60٪ من طلبات HTTP تأتي من وكيل مستخدم (user-agent) يحتوي على كلمة “Discourse” في اسمه، وهو بشكل خاص: lfc-discourse-public-crawler. الوكيل الكامل هو lfc-discourse-public-crawler/0.1 (+public Discourse API archival crawl). لم أرى هذا الوكيل من قبل.

معلومات إضافية:

  • يصل فقط إلى النسخة .json من الموضوع.
  • يبدو أنه يعمل من سنغافورة.
  • عنوان IP يعود إلى speedypage.com.
  • المتصفح: غير معروف/أخرى.
  • نظام التشغيل: غير معروف/أخرى.

ولا يبدو أنه تابع إلى Discourse. ولكن مع اسم مثل هذا، ربما من الجيد أن تكون على علم بهذا الأمر أيضًا.

4 إعجابات
2

حسناً، قد يكون أي شيء، لكن ربما يكون نسخةً مُشتقةً من https://meta.discourse.org/t/a-basic-discourse-archival-tool/62614؟

إعجاب واحد (1)
3

شكرًا لك @awesomerobot. قد يكون هذا بالفعل الأداة المستخدمة هنا. بما أنني لا أقوم بأرشفة أي شيء باستخدام أداة مماثلة، يبدو أن شخصًا آخر يقوم (أو يحاول القيام) بنسخ كل محتوى الخاص بي.

كإجراء لمحاولة إيقاف ذلك، قمت بحظر عامل المستخدم (user-agent) عبر robots.txt. كما قمت بحظر جميع الطلبات القادمة من سنغافورة. سأقوم بإعادة التقييم بعد سبعة أيام.

إعجاب واحد (1)
4

robots.txt هو مجرد اقتراح لبقائي. لا يمنع أي شيء بحد ذاته. ولكن إذا اتبع وكيل المستخدم هذه القواعد، فهذا يخبرنا أن هذا الروبوت ليس خبيثًا بشكل رهيب.

يجب أن نقوم بمثل هذه العمليات على مستوى nginx :man_shrugging:

إعجابَين (2)