أنا حريص على سماع آراء أعضاء المجتمع حول ما إذا كانوا يواجهون أي بريد عشوائي مدعوم بالذكاء الاصطناعي أو زيادة فيه.
سيتضمن هذا على وجه التحديد رؤية إجابات للأسئلة التي تبدو مستندة إلى ChatGPT وتبدو إما غير بشرية أو تعاني من الهلوسة (مشكلة شائعة مع نماذج اللغة الكبيرة).
أواجه بريدًا عشوائيًا يعتمد على الذكاء الاصطناعي
نعم
لا
0voters
إذا كانت الإجابة نعم، فأنا حريص على سماع…
كم مرة يحدث هذا؟
ما حجم المشكلة التي يسببها هذا داخل مجتمعك؟
ما الذي تفعله حاليًا حيال ذلك؟
إذا كانت الإجابة لا، فأنا حريص على معرفة…
كيف تمنع حدوث ذلك؟
هل هناك أسباب تجعل مجتمعك لا يواجه هذه المشكلة بطبيعتها؟
أعتقد أن الطريقة الأكثر فعالية لوقف أي نوع من البريد العشوائي هي أن تكون عضوًا في لغة صغيرة وصعبة للغاية. هذا يوقف هؤلاء المهرجين الذين يقومون بالعمل اليدوي.
حسنًا، كلنا نعلم أن مرسلي البريد العشوائي ليسوا أذكياء وأن حركة المرور الآلية لا تهتم باللغة أو النوع أو حتى الحجم. لذلك، يجب أن يكون هناك سبب آخر يجعل بعض المنتديات أو المواقع مثل خلايا النحل لأي نوع من القمامة والبعض الآخر يعيش بدون دراما.
بالنسبة لسبب تمكن مرسلي البريد العشوائي من تسجيل الدخول هناك وعدم تمكنهم من ذلك في مكان آخر عندما يجب أن يكون النظام والإعداد متطابقين، ليس لدي إجابة. ولكن هناك شيء واحد مؤكد: حاجة المسؤول أو القوة الخلفية الأخرى إلى زيادة النمو السريع من الجمهور العالمي ستؤدي إلى مشاكل الروبوتات والبريد العشوائي.
في الأسبوعين الماضيين تقريبًا، شهدنا ارتفاعًا في موقعنا. نرى بريدًا عشوائيًا نموذجيًا بروابط مخفية في الردود الجديدة من حسابات جديدة. عندما زدنا السمعة لإنشاء منشورات جديدة، رأينا زيادة في الردود التي تم إنشاؤها بواسطة الذكاء الاصطناعي، وبدا أن الروبوتات تحاول زيادة سمعتها ببطء على حسابات وهمية. هذه الردود لا تحتوي على روابط وهمية واضحة، بل تحتوي على نص ذكاء اصطناعي عام لا يساهم في الإجابة على السؤال.
لقد تعرضنا لهجوم خلال عطلة نهاية الأسبوع بزيادة كبيرة في المنشورات العشوائية، بما يكفي لإنشاء شخص موضوعًا جديدًا يقول إن هناك الكثير من البريد العشوائي في منتدياتنا. منذ ذلك الحين، يحتاج المسؤولون إلى التحقق من الموقع كل يوم لتنظيف منشورات الذكاء الاصطناعي الوهمية. نرى أيضًا منشورات الذكاء الاصطناعي على حسابات تم إنشاؤها في الماضي ولم يكن بها أي نشاط، مما يجعل الأمر يبدو وكأن بعض روبوتات البريد العشوائي كانت تزرع الحسابات لفترة من الوقت وتتركها دون نشاط. الآن يحاولون تجاوز حدود المشاركة ببطء حتى يتمكنوا من نشر مواضيع جديدة.
كما ذكرنا أعلاه، قمنا بزيادة مستويات الثقة لنشر مواضيع جديدة. كما قمنا بتمكين akismet. لكن هذا لم يوقف منشورات البريد العشوائي للذكاء الاصطناعي. حاليًا، نحتاج إلى مسؤول/مشرف للتحقق من المنتدى كل يوم لمراجعة المنشورات المميزة وتنظيفها. بعضها صعب ويبدو أنه قد يكون شخصًا، لذلك يحتاج شخصان إلى التحقق.
لقد شجعنا مستخدمينا على المساعدة والإبلاغ عن المنشورات التي تبدو وكأنها ذكاء اصطناعي وقد ساعد ذلك.
منتدياتنا ذات حجم منخفض إلى حد ما وقد تم تشغيلها لسنوات مع القليل جدًا من التنظيف والصيانة من قبل المسؤولين، ولكن يبدو أن روبوتات الذكاء الاصطناعي قد وجدتنا. أعتقد أن الذكاء الاصطناعي قد يكون مطلوبًا لإيقاف الذكاء الاصطناعي؟
لم أر الكثير منه بعد، ولكن منتدى الخاص بي يحتفظ بأول المنشورات تحت المراجعة، ويمكنني عادةً معرفة ما إذا كان شخص ما قد يكون مرسلًا عشوائيًا من خلال بعض الأدلة. أقوم بقفل المشبوهين في TL0 حتى ينشروا شيئًا واضحًا حول الموضوع.
إنه ليس منتدى “للدردشة حول أشياء عشوائية”، لذا من الممكن عادةً معرفة ما إذا كان شخص ما يتظاهر بالاهتمام من خلال المنشور الأول.
في الواقع، لقد عثرت للتو على مستخدم تسلل وتمكن من النشر باستخدام ChatGPT أو غيره من الذكاء الاصطناعي. قد تكون هناك المزيد من الحسابات المزعجة التي فاتني اكتشافها.
بعض الأفكار حول كيفية مكافحة ذلك:
إنشاء قاعدة بيانات لمقدمي خدمات VPN. عنوان IP الخاص بهذا المستخدم من “M247 Europe SRL” وهو مزود خدمة VPN. لطالما أردت نوعًا من الإشعارات بأن حسابًا جديدًا يستخدم VPN. يجب علي القيام بذلك يدويًا في الوقت الحالي.
تتبع وقت القراءة، والأيام التي تمت زيارتها، والمواضيع/المشاركات التي تمت قراءتها. قضى هذا المستخدم 8 دقائق في قراءة الموقع ولكنه نشر 6 تعليقات، وزار 3 مرات فقط في يوم تسجيله. المستخدم حاليًا في المستوى 0 (TL0) بشكل طبيعي، لأنه لم يفعل شيئًا سوى نشر التعليقات.
كتبت المزيد من الأفكار في التعليقات على هذه الصفحة.
أتساءل عما إذا كان من الممكن تصنيف المستخدمين تقريبًا حسب نسبة الوقت الذي يقضونه في الموقع مقابل عدد الكلمات المكتوبة، بالإضافة إلى إشارات أخرى مثل VPN، والمحتوى المنسوخ، والمحتوى المحقون، وما إلى ذلك. يمكن تمييز الحسابات المشتبه بها للمراجعة.
تعديل: استعلمت بسرعة باستخدام Data Explorer عن بعض الحسابات الأخرى، على الرغم من أن بعضها تم تعليقه بالفعل.
SELECT
u.id,
u.created_at,
u.username,
u.trust_level,
us.time_read,
us.days_visited,
us.topics_entered,
us.post_count,
us.topic_count
FROM users u
LEFT JOIN user_stats us
ON us.user_id = u.id
WHERE u.trust_level < 1
AND u.created_at > '2023-01-01'
AND us.time_read < 1000 -- seconds
AND us.post_count > 1
واحدة في اليوم. نمط في المنتديات تضم حوالي 2000 مستخدم (500 سنويًا جديدًا):
يسجل مستخدم جديد باسم نطاق بريد إلكتروني من فئة “نطاق مؤقت” مثل “cetnob.com”.
في غضون ساعات قليلة، ينشئ موضوعًا جديدًا أو يرد على موضوع موجود.
ينشئ نصًا في أقسام اللغة الإنجليزية فقط (موقع ثنائي اللغة، مع أكثر من 90٪ ليس باللغة الإنجليزية).
أحيانًا يتضمن عنوان URL في النص، وأحيانًا لا.
يبدو النص كسؤال أو ملاحظة فعلية، باستخدام كلمات تستخدم حصريًا في المنتديات والمواد ذات الصلة.
لكن النص يبدو خارج الموضوع إلى حد ما، ولكنه جيد جدًا: قد لا يكتشفه مهندس دعم قليل الخبرة.
إنه يشبه إلى حد كبير النمط الموصوف في:
نحن نقوم بالفعل بحظر نطاقات hotmail و gmail وغيرها من النطاقات الكبيرة الموجهة للمستهلكين باستخدام قائمة صريحة، ولكن هناك ما لا يقل عن 10000 نطاق معروفة لنا تستخدم لهذا النوع من النهج. في برنامجنا الخاص، لدينا قائمة صريحة بالإضافة إلى فحص في الوقت الفعلي على UserCheck (نحن نستخدم الإصدار المجاني ونتحقق فقط عند التسجيل على تطبيقاتنا الخاصة ونخزن مؤقتًا، لذا فإن 5000 استعلام شهريًا كافٍ).
مما رأيته، يمكن معالجة هذا السلوك المحدد عن طريق حظر نطاقات البريد الإلكتروني المؤقتة / البريد العشوائي تلقائيًا.
لا يعتبر حظر TL0 من استخدام الروابط أكثر جدوى من الإشراف على جميع الطلبات الجديدة، حيث ينشر العديد من المستخدمين مباشرة بعد التسجيل الأول، وكون الموقع بوابة دعم.
أواجه الكثير من البريد العشوائي من الذكاء الاصطناعي مؤخرًا، ويستغرق الأمر وقتًا طويلاً لمراجعته.
مع البريد العشوائي الحالي الذي أنظر إليه، النص مكتوب باللغة الإنجليزية بشكل مثالي، إنه VPN، عنوان البريد الإلكتروني موجود في StopForumSpam، ويمكنني القول إن المحتوى تم نسخه/لصقه لأن حرف الشرطة الذي تم استخدامه غير موجود في لوحات المفاتيح. كان عليّ التحقق من كل ذلك يدويًا وما زال لديّ العديد من العناصر الأخرى للنظر فيها هذا الصباح.
عصف ذهني لفكرة أخرى:
عند حفظ منشور، يمكن لـ Discourse تسجيل بيانات إضافية في حقل JSONB على هذا المنشور:
عنوان IP
هل هو VPN؟ — بحث في MaxMind للعثور على المنظمة ومعرفة ما إذا كانت VPN (مثل PacketHub S.A.)
بحث سريع عن عنوان البريد الإلكتروني في StopForumSpam
مقارنة عدد الأحرف الناتجة في المحرر مقابل عدد الأحرف المنتجة للمخرجات التي تم كتابتها (باستثناء مفاتيح الأسهم، Ctrl، إلخ). على سبيل المثال، أنتج المستخدم 1000 حرف في المحتوى الخام، ولكنه ضغط على مفاتيح إنتاج المخرجات 10 مرات فقط (مما يشير إلى أنه تم لصق المحتوى وقد يكون المستخدم قد قام بعد ذلك بتحرير كلمة).
عدد المرات التي تم فيها نسخ أو قص المحتوى باستخدام اختصارات لوحة المفاتيح أو النقر بزر الماوس الأيمن.
عدد المرات التي تم فيها لصق المحتوى باستخدام اختصارات لوحة المفاتيح أو النقر بزر الماوس الأيمن. سيكون الفرق في أرقام النسخ/اللصق دليلًا إضافيًا.
يمكن للمشرفين عرض تلك البيانات على المنشورات في جدول صغير. يمكن تمييز القيم غير العادية بحيث تبرز المنشورات المشبوهة.
ربما لا توجد طريقة مثالية لأتمتة الكشف، ولكن وجود المزيد من المعلومات سيسرع عملية الإشراف.
لم أستخدم الذكاء الاصطناعي في منتدياتي لأنه مكلف. لست مقتنعًا أيضًا بأن الذكاء الاصطناعي سيكون قادرًا على حل هذه المشكلة، لأن المحتوى يبدو طبيعيًا. سأظل بحاجة إلى التحقيق يدويًا في كل منشور مشبوه.
لم أواجه مشكلة مع المحتوى غير الآمن (NSFW).
مشكلتي ليست أن هناك خطأ في المحتوى. الأشياء الوحيدة المشبوهة فيه هي أن المستخدمين الجدد لا يكتبون مثل هذه المنشورات في غضون دقائق قليلة من التسجيل، والمحتوى غامض إلى حد ما أيضًا. يحتوي منتدىي الرئيسي على موضوع محدد جدًا، وإذا لم يذكر المنشور الأول شيئًا محددًا عن علاقة الشخص بهذا الموضوع، أبدأ عملية التحقيق. وإلا فقد لا ألاحظ منشوراتهم.
إليك بعض الأمثلة. المحتوى غامض بما يكفي بالنسبة لي لبدء عملية التحقيق، ولكنه يستغرق وقتًا طويلاً، لأنني يجب أن أقوم به يدويًا.
لا يمكنني حظر هذا المستخدم بناءً على المحتوى وحده. إنها الأدلة الأخرى التي تخبرني أنه مرسل بريد عشوائي.
كان عنوان IP هذا عبارة عن شبكة افتراضية خاصة (VPN) في النرويج، وكان المحتوى غامضًا للغاية. تمكنت من تأكيده لأن عنوان البريد الإلكتروني كان في StopForumSpam مع عنوان IP من ألمانيا:
أنا فقط أطرح الأفكار بصوت عالٍ هنا، ولكن سيكون أسرع في الإشراف على هؤلاء المستخدمين إذا كان هناك جدول صغير في المنشورات يقول شيئًا مثل:
location
Oslo, Norway [from maxmind]
organization
PacketHub S.A. [from maxmind]
is_vpn
true
email
whatever@example [sometimes this provides clues]
stopforumspam
true [link]
characters_output
1,234
characters_output_pressed
10 [this doesn’t match the number of chars in the post, so it’s a clue]
num_cut_or_copy
0 [didn’t copy text from editor]
num_paste
1 [did make one paste]
seconds_editor_open
20 [suspicious for a post of that length]
ربما يمكن طي الجدول ما لم تكن هناك قيمة مشبوهة و/أو يمكن للمشرفين تمييز مستخدم معين على أنه “ربما ليس بريدًا عشوائيًا” مما سيؤدي إلى طي الجدول على جميع منشوراته أو إيقاف البحث المستقبلي لهذا المستخدم. أو يمكن تمييز المستخدم تلقائيًا بأنه آمن عند وصوله إلى TL2.
إنها مجموعة من الأشياء:
تميل شبكات VPN أو عناوين IP إلى التواجد في عدد صغير من البلدان التي توجد بها العديد من شركات تحسين محركات البحث (الهند، باكستان، أوكرانيا، فيتنام، بنغلاديش).
في بعض الأحيان تكون عناوين البريد الإلكتروني في StopForumSpam.
يتم لصق الكثير من المحتوى في المحرر، ولكن ربما ليس كله.
غالبًا ما لا تتطابق عناوين البريد الإلكتروني مع اسم المستخدم. على سبيل المثال، سيكون اسم المستخدم “Bob Smith” وسيكون عنوان البريد الإلكتروني شيئًا مختلفًا مثل stevenjohnee1234@example.
يستخدم المحتوى الخام أحيانًا أحرف ترقيم منسقة مثل علامات الاقتباس الذكية أو الشرطة الطويلة، مما يشير إلى أن المحتوى لم تتم كتابته في محرر Discourse.
ألقِ نظرة على المنشور 1622105 هنا في هذا المنتدى. تم نشره بعد 3 دقائق من التسجيل، وتم تعديله يدويًا لتغيير الرابط من Quora إلى stackexchange، واللغة الإنجليزية جيدة، ولكنه يتحدث عن تقنية غير ذات صلة بـ Discourse. لا أريد الارتباط به لأنه سيخطر الناشر.\n\nهذا هو نوع المنشور الذي سيكون من المفيد فيه رؤية البيانات التي ذكرتها أعلاه مباشرة في المنشور.
أترك بعض منشورات البريد العشوائي عبر الإنترنت عندما تثير النقاش، ولكن معظمها يتم حذفه. الجودة منخفضة جدًا، وغالبًا ما يكون من السهل معرفة ما إذا كان شيء ما مكتوبًا بواسطة الذكاء الاصطناعي. إذا شعرت أن شيئًا أقرأه تم إنشاؤه بواسطة الذكاء الاصطناعي، أبدأ في فقدان الثقة في المصدر. لست معاديًا للذكاء الاصطناعي، لكنني لا أريد قراءة محتوى تم إنشاؤه بواسطة الذكاء الاصطناعي ما لم أعرف أنه تم إنشاؤه بواسطة الذكاء الاصطناعي.
إذا رأيت أن شخصًا ما يستخدم الذكاء الاصطناعي في المنتدى، فإنني أوقف ذلك فورًا لأن المحتوى الموثوق به هو أحد أهم أصول المنتدى.
أيضًا، ما يبدو مقبولًا للبشر في عام 2024 قد يكون من السهل على الناس اكتشافه على أنه ذكاء اصطناعي في عام 2034، مثلما تبدو المؤثرات السينمائية التي بدت واقعية في العقود الماضية الآن قابلة للكشف فورًا على أنها مزيفة. أعتقد أن المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي من عام 2024 سيبدو قديمًا في النهاية.
