تحميل البيانات المسبق والتعامل مع مشاكل استعلام N+1

angus · 17 يناير 2025، 2:41م

عند العمل مع تطبيق Discourse rails، سواء كنت تبني إضافة أو تقوم بطلب سحب إلى discourse/discourse، ستواجه مشاكل استعلام N+1 في عدد من السياقات. يشرح هذا الموضوع كيفية التعامل مع تحميل البيانات المسبق لمعالجة مثل هذه المشاكل والحفاظ على أداء Discourse.

مشاكل استعلام N+1 في Rails

أولاً، إذا لم تكن على دراية بمشاكل استعلام N+1، وكيفية معالجتها في Rails، فراجع هذا القسم من الأدلة.

المواضيع

قضايا N+1 التي يجب الانتباه إليها عند تحميل موضوع هي عند تحميل الجداول المرتبطة بمنشور. الآن، يتم إعداد البيانات المسلسلة لموضوع فردي، ويتم تحميلها مسبقًا، في فئة TopicView. تحتوي هذه الفئة على خطاف on_preload يسمح لك بتحميل الجداول المرتبطة مسبقًا قبل تشغيل استعلامها الأساسي. هناك مثال جيد لاستخدام TopicView.on_preload في إضافة ActivityPub

github.com/discourse/discourse-activity-pub

plugin.rb

main


      
                local: true,
                ap_type: DiscourseActivityPub::AP::Actor::Group.type,
                model_type: DiscourseActivityPubActor::GROUP_MODELS,
              )
            delivered_to_actors << actor if actor
          end
          
          if delivered_to_actors.blank?
            raise DiscourseActivityPub::AP::Handlers::Warning::Validate,
                  I18n.t("discourse_activity_pub.process.warning.actor_does_not_accept_new_topics")
          end
          
          unless delivered_to_actors.any? { |actor|
                   actor.following?(activity.actor.stored) ||
                     actor.following?(activity.parent&.actor&.stored)
                 }
            raise DiscourseActivityPub::AP::Handlers::Warning::Validate,
                  I18n.t(
                    "discourse_activity_pub.process.warning.only_followed_actors_create_new_topics",
                  )
          end

يستخدم هذا الاستخدام للخطاف تحميل الحقول المخصصة مسبقًا، والتي سنغطيها أدناه، وتحميل الارتباطات الإضافية للمنشورات في الموضوع. ستلاحظ أنه يستخدم ActiveRecord::Associations::Preloader للقيام بذلك. يمكنك القراءة عن هذه الفئة في المستندات:

قوائم المواضيع

قضايا N+1 التي يجب الانتباه إليها عند تحميل قائمة مواضيع هي عند تحميل الجداول المرتبطة بموضوع. على غرار فئة TopicView للمواضيع الفردية، هناك فئة TopicList لقوائم المواضيع. ومثل TopicView، تحتوي TopicList أيضًا على طريقة on_preload يمكنك استخدامها للربط باستعلام قائمة المواضيع الرئيسي لتحميل الجداول المرتبطة قبل أن يصل الاستعلام إلى قاعدة البيانات. هناك مثال جيد لذلك في إضافة Discourse Assign:

github.com/discourse/discourse-assign

plugin.rb

main


      
                topic.preload_assigned_to(assignment&.assigned_to)
                topic.preload_assignment_status(assignment&.status)
              end
            end
          end
          
          TopicView.on_preload do |topic_view|
            topic_view.instance_variable_set(:@posts, topic_view.posts.includes(:assignment))
          end
          
          TopicList.on_preload do |topics, topic_list|
            next unless SiteSetting.assign_enabled?
          
            can_assign = topic_list.current_user&.can_assign?
            allowed_access = SiteSetting.assigns_public || can_assign
          
            next if !allowed_access || topics.empty?
          
            assignments =
              Assignment.strict_loading.active.where(topic: topics).includes(:target, :assigned_to)
            assignments_map = assignments.group_by(&:topic_id)

register_topic_preloader_associations

تحتوي فئة TopicList على طريقة واجهة برمجة تطبيقات المكون الإضافي للخادم register_topic_preloader_associations، والتي تطبق بشكل أساسي نفس النمط الذي رأيناه في إضافة ActivityPub، باستخدام ``ActiveRecord::Associations::Preloader`. ستقوم بهذا العمل نيابة عنك إذا مررت لها مصفوفة من الارتباطات.

register_topic_list_preload_user_ids

بالإضافة إلى تشغيل استعلام واحد كبير للحصول على جميع المواضيع المطلوبة، تقوم فئة TopicList أيضًا بتشغيل استعلام واحد كبير للحصول على جميع المستخدمين المطلوبين للقائمة، بما في ذلك كل:

مستخدم الموضوع
آخر مستخدم للمنشور
مستخدم الموضوع المميز
المستخدمون المسموح لهم بالموضوع

إذا كنت تقوم بتحميل مستخدمين آخرين لكل موضوع، فإن طريقة واجهة برمجة التطبيقات هذه تسمح لك بتضمين معرفات المستخدم الخاصة بهم في استعلام المستخدم الكبير حتى يتم تحميل بياناتهم مسبقًا مع الباقي.

الفئات

هناك قائمة رئيسية بالفئات المستخدمة في أماكن مختلفة من الموقع والتي يتم تحميلها وتخزينها مؤقتًا في نموذج الموقع. في حين أن هذا ليس تحميلًا مسبقًا بالمعنى الدقيق للكلمة، إلا أنه يقوم بشيء مماثل، لذلك فكرت في تضمينه هنا.

github.com/discourse/discourse

app/models/site.rb

main


      
          end
          
          def self.categories_cache_key
            "site_categories_#{I18n.locale}_#{Discourse.git_version}"
          end
          
          def self.clear_cache
            Discourse.cache.delete(categories_cache_key)
          end
          
          def self.all_categories_cache
            # Categories do not change often so there is no need for us to run the
            # same query and spend time creating ActiveRecord objects for every requests.
            #
            # Do note that any new association added to the eager loading needs a
            # corresponding ActiveRecord callback to clear the categories cache.
            Discourse
              .cache
              .fetch(categories_cache_key, expires_in: 30.minutes) do
                categories =
                  begin

site_all_categories_cache_query modifier

تحتوي طريقة ذاكرة التخزين المؤقت لجميع الفئات all_categories_cache على معدّل لواجهة برمجة تطبيقات المكون الإضافي للخادم يسمح لك بتعديل استعلام الفئات الكبير: site_all_categories_cache_query. تستخدم هذا المعدّل كما يلي في ملف plugin.rb الخاص بك:

register_modifier(:site_all_categories_cache_query) do |query|
   query.where("categories.name LIKE 'Cool%'")
end

البحث

تحميل البحث المسبق أيضًا لا يوصف تقنيًا على هذا النحو في الكود، ولكنه يقوم أيضًا بشيء مماثل باستعلاماته، أي التحميل المسبق.

register_search_topic_eager_load

تسمح طريقة واجهة برمجة تطبيقات المكون الإضافي للخادم register_search_topic_eager_load لك بتحميل الجداول الإضافية مسبقًا في البحث. على سبيل المثال:

register_search_topic_eager_load do |opts|
    %i(example_table)
end

الحقول المخصصة

يتم تشغيل الحقول المخصصة بواسطة القلق HasCustomFields. يتم تضمين هذا القلق في النماذج التي تحتوي على حقول مخصصة مرتبطة، أي Post، Topic، Category و Group. يحتوي نموذج HasCustomFields على نظام تحميل مسبق خاص به يمكن استخدامه بطرق مختلفة. أفضل طريقة لاستخدام التحميل المسبق لـ HasCustomFields هي من خلال طرق واجهة برمجة تطبيقات المكون الإضافي للخادم، والتي يجب أن تكون واضحة نسبيًا بالنظر إلى كل ما قلته حتى الآن.

register_preloaded_category_custom_fields

add_preloaded_group_custom_field

add_preloaded_topic_list_custom_field

يمكنك أيضًا استخدام بعض الطرق ذات المستوى الأدنى في HasCustomFields للقيام بالتحميل المسبق الخاص بك عند الضرورة، كما رأينا في مثال إضافة ActivityPub. في هذا المثال، يتم استخدام القلق HasCustomFields preload_custom_fields لتحميل حقول المنشورات المخصصة مسبقًا في TopicView.on_preload.

TopicView.on_preload do |topic_view|
  ##
  Post.preload_custom_fields(topic_view.posts, activity_pub_post_custom_field_names)
  ##
end

الموضوع		الردود	مرات العرض
Preloading custom data and fields in the topic list Dev	8	1607	17 يناير 2025
The plugin shows HasCustomFields::NotPreloadedError Dev	0	37	9 أكتوبر 2024
Error with categories with limited visibility and/or subcategories Bug	15	804	2 نوفمبر 2023
Slow Page Loads on User Profiles Feature	15	2424	23 نوفمبر 2020
Slow SQL query causes homepage to load in 2-4 sec Support	16	1640	1 يوليو 2018

تحميل البيانات المسبق والتعامل مع مشاكل استعلام N+1

مشاكل استعلام N+1 في Rails

المواضيع

قوائم المواضيع

register_topic_preloader_associations

register_topic_list_preload_user_ids

الفئات

site_all_categories_cache_query modifier

البحث

register_search_topic_eager_load

الحقول المخصصة

الموضوعات ذات الصلة