ماذا يعني Jobs::Crawltopiclink في Sidekiq (Discourse)؟

hokod · 22 نوفمبر 2021، 6:25ص

ماذا يعني jobs::crawltopiclink في sidekiq؟
في discourse، مم يُستخدم jobs::crawltopiclink؟
هل تؤثر Jobs::Crawltopiclink على تحسين محركات البحث (SEO) للموقع؟

pfaffman · 22 نوفمبر 2021، 9:50ص

يمكنك النظر إلى المصدر لترى.

هل هناك مشكلة تحاول حلها؟

hokod · 22 نوفمبر 2021، 10:23ص

في الواقع، كنت أبحث عن معنى Jobs::Crawltopiclink في discourse (المعروض في قائمة انتظار Sidekiq).
كنت أبحث عن معنى Jobs::Crawltopiclink ، ثم قررت حذف قائمة الانتظار Jobs::Crawltopiclink .
لكنني لم أجد الكثير من الوثائق حول Jobs::Crawltopiclink .
لذلك سألت مجتمع discourse
شكرا

pfaffman · 22 نوفمبر 2021، 2:42م

ولكن هناك العشرات من هذه المهام. لماذا اعتقدت أنك تهتم بهذه المهمة؟

أعتقد أنه إذا كان عنوان الموضوع رابطًا، فإنه يقوم بالزحف إليه.

github.com/discourse/discourse

app/jobs/regular/crawl_topic_link.rb

main

# frozen_string_literal: true

require "open-uri"
require "nokogiri"
require "excon"

module Jobs
  class CrawlTopicLink < ::Jobs::Base
    sidekiq_options queue: "low"

    def execute(args)
      raise Discourse::InvalidParameters.new(:topic_link_id) if args[:topic_link_id].blank?

      topic_link = TopicLink.find_by(id: args[:topic_link_id], internal: false, crawled_at: nil)
      return if topic_link.blank?

      # Look for a topic embed for the URL. If it exists, use its title and don't crawl
      topic_embed =
        TopicEmbed.where(embed_url: topic_link.url).includes(:topic).references(:topic).first
      # topic could be deleted, so skip

This file has been truncated. show original

hokod · 22 نوفمبر 2021، 3:06م

شكرا لك،
قبل تقديم السؤال، نظرت أيضًا في الوثائق عبر الرابط: discourse/app/jobs/regular/crawl_topic_link.rb at main · discourse/discourse · GitHub
لكن حقًا، لا أفهم معنى Jobs::Crawltopiclink في sidekiq (discourse)

لدينا قائمة انتظار منخفضة (sidekiq) بها مهام متعددة: Jobs::Crawltopiclink،
إذا لم أقم بمسح قائمة انتظار Jobs::Crawltopiclink، فسأحتاج إلى المزيد من الوقت لتشغيلها جميعًا، (بينما الوقت مهم، لا أريد إضاعة المزيد من الوقت)
أتساءل عما إذا كان يجب علي حذف قائمة انتظار Jobs::Crawltopiclink؟

لذلك أريد أن أعرف معنى Jobs::Crawltopiclink.

قد لا تكون إجابتك صحيحة، آمل في الحصول على المزيد من الإجابات منك ومن الجميع.

Simon_Manning · 22 نوفمبر 2021، 5:33م

ما لم أكن أخطئ، فإن TopicLink يعالج أي رابط يظهر في منشور. عند إنشائه، يقوم بجدولة مهمة crawl_topic_link التي تزحف بعد ذلك إلى عنوان URL لاسترداد العنوان.

على سبيل المثال، يمكنني إدخال ما يلي بالضبط في منشور:

سيكون هذا رابطًا: https://github.com/discourse/discourse/blob/main/app/jobs/regular/crawl_topic_link.rb

في البداية، سيتم تضمين ذلك في المنشور، مع عرض عنوان URL كرابط. عندما تعمل هذه المهمة، ستقوم بالزحف إلى عنوان URL لاسترداد العنوان، ثم سيتم إعادة خبز المنشور لعرض العنوان كرابط بالطريقة التي يظهر بها في منشورك السابق.

عادةً ما يحدث هذا بسرعة كبيرة بحيث بالكاد يكون ملحوظًا، ولكن إذا كان لديك الكثير من هذه المهام في قائمة الانتظار لسبب ما، فقد ترى عناوين URL لفترات طويلة قبل استبدالها بالعناوين. أتوقع أنه إذا قمت بحذف المهام، فستظل كعناوين URL بدلاً من روابط بعنوان.

إذا قمت مؤخرًا بإجراء استيراد، فأنشأت الكثير من المنشورات الجديدة في فترة زمنية قصيرة جدًا، فقد يفسر ذلك وجود قائمة انتظار لمثل هذه المهام. أعتقد أنك ستحصل على أفضل نتيجة من خلال السماح لهذه المهام بالانتهاء. أعتقد أن هذا هو الموضع الافتراضي الجيد مع Sidekiq: فقط دعه يقوم بما يفعله. (ما لم تكن ترى مشاكل محددة مع بعض المهام.)

hokod · 22 نوفمبر 2021، 11:19م

@Simon_Manning
شكرا جزيلا،
لقد فهمت جزئيا معنى jobs::crawltopiclink

لديك فهم واسع جدا.

الموضوع		الردود	مرات العرض
Sidekiq has a lot of errors and queued jobs Support	19	1072	1 مارس 2024
Sidekiq use in Discourse Installation	6	1604	12 أبريل 2023
Changing sidekiq job urgency Dev	5	987	21 فبراير 2019
Suggested Topics not shown to web spiders Feature suggested-topics	22	2602	21 فبراير 2017
1.8M PullHotLinkedImages in our sidekiq backlog Support	6	1098	8 يونيو 2024

ماذا يعني Jobs::Crawltopiclink في Sidekiq (Discourse)؟

الموضوعات ذات الصلة