هل تريد تنظيف سجلات رموز مصادقة المستخدم؟

RGJ · 13 سبتمبر 2024، 5:30م

لدينا منتدى حيث يحتوي user_auth_token_logs على 61 مليون صف (ويتزايد).\n\nهناك 25 ألف user_auth_tokens فقط.\n\nمن بين 61 مليون صف، يشير 54 مليون صف إلى user_auth_token لم يعد موجودًا (أي مشكلة في سلامة قاعدة البيانات). ومن بين 61 مليون صف، حوالي 58 مليون صف أقدم من شهرين (أي عديمة الفائدة على ما يبدو؟)\n\nأسئلة:\n- هل يمكننا تنظيف هذا دون المخاطرة بمشاكل سلامة إضافية؟\n- هل ستكون فكرة جيدة أن يكون هناك مهمة لتنظيف هذا تلقائيًا؟\n\n\ndb=# select count(*) from user_auth_tokens;\n count \n-------\n 25648\n\ndb=# select count(*) from user_auth_token_logs;\n count \n----------\n 61415352\n\ndb=# select count(*) from user_auth_token_logs where user_auth_token_id not in (select id from user_auth_tokens);\n count \n----------\n 54558442\n\ndb=# select count(*) from user_auth_token_logs where created_at < '2024-07-13';\n count \n----------\n 58565943\n\n

pmusaraj · 13 سبتمبر 2024، 6:22م

نعم، user_auth_token_logs موجودة لأغراض التصحيح فقط. يمكن مسح جميع الصفوف، وسيكون العاقبة الوحيدة هي عدم وجود سجلات لتصحيحها.

يجب أن يغطي هذا:

https://github.com/discourse/discourse/blob/main/app/jobs/scheduled/weekly.rb#L13

RGJ · 13 سبتمبر 2024، 7:07م

شكراً لك على ذلك، لم أكن أدرك أن ذلك موجود.

إذًا… فإن تنظيف التشغيل فقط يحدث عندما يكون verbose_auth_token_logging مضبوطًا على true (وهو ما لا ينطبق على هذه النسخة)

لكن التسجيل غير المفصل يحدث دائمًا بغض النظر عن الإعداد

github.com/discourse/discourse

app/models/user_auth_token.rb

main


      
              auth_token: self.auth_token,
            )
          end
          
          def user
            impersonated_user || acting_user
          end

وفقًا لـ 8fb823c

نقل هذا إلى Bug

pmusaraj · 13 سبتمبر 2024، 7:45م

أجل، أحسنت. يبدو أن الأسطر 214 إلى 217 تحتاج إلى إصلاح أيضًا.

سأكون مرتاحًا للتنظيف الشامل بعد فترة زمنية معينة. @osama (بما أنك مؤلف الالتزام المرتبط أعلاه)، هل تعتقد أنه يمكننا تنظيف كل هذه السجلات بعد فترة زمنية معينة (وإذا كان الأمر كذلك، بعد كم من الوقت)؟ يبدو أننا بحاجة إلى الاحتفاظ ببعضها للكشف عن عمليات تسجيل الدخول المشبوهة.

RGJ · 13 سبتمبر 2024، 10:16م

لماذا تحتاج إلى إصلاح؟ هذا الجزء من الكود يتعلق بتنظيف UserAuthTokens التي تم تدويرها، وليس بسجلات السجل؟

تحديث: بعد تمكين SiteSetting.verbose_auth_token_logging، وتشغيل المهمة الأسبوعية وتشغيل VACUUM FULL user_auth_token_logs، انخفض الجدول من 16 جيجابايت إلى 687 ميجابايت

وفرت بعض الأشجار اليوم

Osama · 16 سبتمبر 2024، 8:15م

نعم، أعتقد أنه يمكننا تنظيف معظم السجلات، ولكن يجب الاحتفاظ ببعضها. على وجه التحديد، أعتقد أن أي سجلات تحتوي على suspicious أو generate أو rotate للإجراء ستحتاج إلى الاحتفاظ بها لأنها تستخدم للكشف عن عمليات تسجيل الدخول المشبوهة وإنشاء تقارير لها.

github.com/discourse/discourse

app/models/concerns/reports/suspicious_logins.rb

501f07ab1


      
              title: I18n.t("reports.suspicious_logins.labels.login_time"),
            },
          ]
          
          report.data = []
          
          sql = <<~SQL
            SELECT u.id user_id, u.username, u.uploaded_avatar_id, t.client_ip, t.user_agent, t.created_at login_time
            FROM user_auth_token_logs t
            JOIN users u ON u.id = t.user_id
            WHERE t.action = 'suspicious'
              AND t.created_at >= :start_date
              AND t.created_at <= :end_date
            ORDER BY t.created_at DESC
          SQL
          
          DB
            .query(sql, start_date: report.start_date, end_date: report.end_date)
            .each do |row|
              data = {}

github.com/discourse/discourse

app/models/user_auth_token.rb

501f07ab1


      
              Math.sin((lat2_rad - lat1_rad) / 2)**2 +
                Math.cos(lat1_rad) * Math.cos(lat2_rad) * Math.sin((lon2_rad - lon1_rad) / 2)**2
            c = 2 * Math.atan2(Math.sqrt(a), Math.sqrt(1 - a))
          
            c * EARTH_RADIUS_KM
          end
          
          def self.is_suspicious(user_id, user_ip)
            return false unless User.find_by(id: user_id)&.staff?
          
            ips = UserAuthTokenLog.where(user_id: user_id).pluck(:client_ip)
            ips.delete_at(ips.index(user_ip) || ips.length) # delete one occurrence (current)
            ips.uniq!
            return false if ips.empty? # first login is never suspicious
          
            if user_location = login_location(user_ip)
              ips.none? do |ip|
                if location = login_location(ip)
                  distance(user_location, location) < SiteSetting.max_suspicious_distance_km
                end
              end

JonahAragon1 · 8 أغسطس 2025، 4:11م

أرى في منتداي أن هذه المشكلة لم يتم إصلاحها قط
يبدو أن تقرير تسجيلات الدخول المشبوهة ينطبق فقط على أعضاء هيئة التدريس، هل هناك سبب للاحتفاظ بسجلات لغير المسؤولين؟
لكي يعمل التقرير، هل يحتاج إلى بيانات من بداية تاريخ الحساب؟ هل يمكن تقصير السجل إلى الأشهر الستة الماضية؟
في الوقت الحالي، لا يوجد أي تنظيف على الإطلاق، وهذا يمثل مصدر قلق للخصوصية.

RGJ · 8 أغسطس 2025، 4:31م

أنا لا أفهم المناقشة أعلاه أيضًا.
الخلل بسيط جدًا: إذا لم يكن الوضع مفصلاً، فلن يتم إجراء أي تنظيف لـ UserAuthTokenLog على الإطلاق، أبدًا. يجب إزالة الشرط if.

التنفيذ الأصلي سجل فقط عندما يكون SiteSetting.verbose_auth_token_logging صحيحًا. والذي لا يزال يمثل مشكلة أنه بعد تعطيله، ستبقى السجلات المتبقية الأحدث، ولكن هذا أمر بسيط.

لكن هذا التغيير جعل التسجيل غير مشروط (“يتم الآن تسجيل سجلات رموز المصادقة generate و rotate و suspicious دائمًا بغض النظر عن إعداد verbose_auth_token_logging”).
باختصار؛ هذا التغيير نسي جعل الإزالة غير مشروطة أيضًا.

sam · 11 أغسطس 2025، 2:47ص

بالتأكيد، سنقوم بحل الأمر خلال الأسابيع القليلة القادمة، إذا كان هناك استعجال فلا تتردد في إرسال طلب سحب (PR) (يتم اختباره ويؤكد أن هذا يعمل كما هو متوقع)

RGJ · 13 أغسطس 2025، 10:05ص

لقد قمت بإنشاء طلب سحب https://github.com/discourse/discourse/pull/34288، سيكون من الرائع لو تم تضمين هذا في الإصدار 3.5

RGJ · 14 أغسطس 2025، 5:23ص

ويبدو أنني سبقت إلى ذلك

github.com/discourse/discourse

FIX: Automatically clean up user_auth_token_logs

main ← jonaharagon:patch-1

opened 04:11PM - 10 Aug 25 UTC

jonaharagon

+45 -25

Fixes: https://meta.discourse.org/t/clean-up-user-auth-token-logs/326397?u=jonah…aragon1 Currently (since 2021 when this logging was [made unconditional](https://github.com/discourse/discourse/commit/8fb823c30f7fd3086f4370c2dc6e4e3737ae6acf)) all user IP addresses and user agent strings for all forum users are continuously logged and never cleared. Keeping unnecessary PII is a massive liability for us, so I hope this can be merged ASAP. I observe (in my user archive download) this indefinite logging does not happen on Meta, presumably because you have _verbose_ logging enabled, but it does happen on virtually all Discourse-hosted and self-hosted sites, which indicates to me this is unintended behavior. I should not have to enable verbose logging to _decrease_ the amount of logging here, but that is what I had to do as a temporary solution. This change will keep the logs for a few months by default. I can find no reason the logs should be kept longer, _especially_ as they only seem to be used for a feature (suspicious login reporting) which currently only applies to staff accounts and not regular users. cc: @OsamaSayegh

pmusaraj · 14 أغسطس 2025، 5:13م

بالفعل، تم دمج طلب السحب هذا الآن بفضل @Osama. إنه يعالج معظم أنواع user_auth_token_logs، ولكن ليس كلها، وسنتابع بإصلاح لإدخالات generate قريبًا. (انظر المناقشة في رابط طلب السحب أعلاه لمزيد من السياق).

سأبقي هذا الموضوع مفتوحًا أثناء معالجتنا للمتابعة.

الموضوع		الردود	مرات العرض
User anonymization and staff_action_logs Support	7	701	8 سبتمبر 2021
Logging checked_for_custom_avatar Bug	8	1086	2 يناير 2015
How to remove admin logs Support	15	2480	15 نوفمبر 2023
Is there a limit to user_auth_token? Support	4	545	9 يوليو 2021
Reset all login tokens Feature	7	2160	20 مايو 2016

هل تريد تنظيف سجلات رموز مصادقة المستخدم؟

الموضوعات ذات الصلة