sidekiq에서 jobs::crawltopiclink는 무엇을 의미합니까?
discourse에서 jobs::crawltopiclink는 어떤 용도로 사용됩니까?
Jobs::Crawltopiclink는 웹사이트 SEO에 영향을 미칩니까?
소스를 확인해 보시면 됩니다.
해결하려고 하는 문제가 있나요?
사실 저는 discourse에서 Sidekiq 큐에 표시되는 Jobs::Crawltopiclink의 의미를 찾고 있었습니다.
Jobs::Crawltopiclink의 의미를 조사하다가, 결국 Jobs::Crawltopiclink 큐를 삭제하기로 결정했습니다.
하지만 Jobs::Crawltopiclink에 대한 문서를 많이 찾지 못했습니다.
그래서 discourse 커뮤니티에 질문을 남겼습니다.
감사합니다.
하지만 그런 잡은 수십 개나 됩니다. 왜 이 잡에만 관심을 보였나요?
토픽 제목이 링크인 경우, 해당 링크를 크롤링하는 것 같습니다.
감사합니다.
질문을 제출하기 전에 링크를 통해 문서도 확인해 보았습니다: discourse/app/jobs/regular/crawl_topic_link.rb at main · discourse/discourse · GitHub
하지만 정말로 sidekiq(discourse)에서 Jobs::Crawltopiclink의 의미를 이해하지 못하겠습니다.
저희의 low 큐(sidekiq)에는 여러 작업이 있는데 그중 하나가 Jobs::Crawltopiclink입니다.
Jobs::Crawltopiclink 큐를 비우지 않으면 전체를 실행하는 데 더 많은 시간이 소요될 것입니다. (시간이 중요한 상황에서 더 이상의 시간 낭비는 원하지 않습니다)
Jobs::Crawltopiclink 큐를 삭제해야 하는지 궁금합니다.
즉, Jobs::Crawltopiclink의 의미를 알고 싶습니다.
귀하의 답변이 정확하지 않을 수도 있으니, 귀하와 다른 분들의 추가 답변을 기대합니다.
제가 놓친 부분이 없는 한, TopicLink는 게시물에 나타나는 모든 링크를 처리하는 것 같습니다. 링크가 생성되면 crawl_topic_link 작업이 큐에 추가되고, 이 작업이 URL을 크롤링하여 제목을 가져옵니다.
예를 들어, 게시물에 정확히 다음과 같은 내용을 입력할 수 있습니다:
This will be a link: https://github.com/discourse/discourse/blob/main/app/jobs/regular/crawl_topic_link.rb
처음에는 게시물이 이렇게 베이킹(baked)되어 URL이 링크로 표시됩니다. 해당 작업이 실행되면 URL을 크롤링하여 제목을 가져오고, 이후 게시물이 다시 베이킹되어 이전 게시물에서 보셨던 것처럼 제목이 링크로 표시됩니다.
보통은 이 과정이 매우 빠르게 일어나기 때문에 거의 눈치채기 어렵지만, 어떤 이유로든 해당 작업이 많이 큐에 쌓여 있다면 제목으로 대체되기 전에 URL이 장기간 표시되는 것을 볼 수 있습니다. 작업을 삭제하면 제목이 있는 링크가 아닌 URL로 남아 있을 것으로 예상됩니다.
최근에 가져오기(import) 작업을 수행하여 짧은 시간 안에 많은 새 게시물을 생성했다면, 이러한 작업의 백로그가 쌓인 이유를 설명할 수 있습니다. 이러한 작업이 완료되도록 두는 것이 가장 좋은 결과를 얻을 수 있을 것입니다. Sidekiq의 경우 이것이 좋은 기본 태도라고 생각합니다: Sidekiq가 해야 할 일을 그대로 진행하도록 두세요. (특정 작업에서 구체적인 문제가 발생하는 경우가 아니라면요.)
@Simon_Manning
감사합니다.
jobs::crawltopiclink의 의미를 일부 이해했습니다.
너무나 폭넓은 이해력을 가지고 계시네요.