O que significa Jobs::Crawltopiclink no Sidekiq (Discourse)?

hokod · Novembro 22, 2021, 6:25am

O que significa jobs::crawltopiclink no sidekiq?
No discourse, para que serve o jobs::crawltopiclink?
O Jobs::Crawltopiclink afeta o SEO do site?

pfaffman · Novembro 22, 2021, 9:50am

Você pode olhar o código-fonte para ver.

Há algum problema que você está tentando resolver?

hokod · Novembro 22, 2021, 10:23am

Na verdade, estou procurando o significado de Jobs::Crawltopiclink no Discourse (mostrado na fila do Sidekiq).
Eu estava procurando o significado de Jobs::Crawltopiclink, então decidi excluir a fila Jobs::Crawltopiclink.
Mas não encontrei muita documentação sobre Jobs::Crawltopiclink.
Então perguntei à comunidade do Discourse.
Obrigado.

pfaffman · Novembro 22, 2021, 2:42pm

Mas existem dezenas de tarefas como essa. Por que você achou que se importava com esta?

Eu acho que se o título de um tópico é um link, ele o rastreia.

github.com/discourse/discourse

app/jobs/regular/crawl_topic_link.rb

main

# frozen_string_literal: true

require "open-uri"
require "nokogiri"
require "excon"

module Jobs
  class CrawlTopicLink < ::Jobs::Base
    sidekiq_options queue: "low"

    def execute(args)
      raise Discourse::InvalidParameters.new(:topic_link_id) if args[:topic_link_id].blank?

      topic_link = TopicLink.find_by(id: args[:topic_link_id], internal: false, crawled_at: nil)
      return if topic_link.blank?

      # Look for a topic embed for the URL. If it exists, use its title and don't crawl
      topic_embed =
        TopicEmbed.where(embed_url: topic_link.url).includes(:topic).references(:topic).first
      # topic could be deleted, so skip

This file has been truncated. show original

hokod · Novembro 22, 2021, 3:06pm

Obrigado,
Antes de enviar a pergunta, também consultei a documentação através do link: discourse/app/jobs/regular/crawl_topic_link.rb at main · discourse/discourse · GitHub
Mas, realmente, não entendo o significado de Jobs::Crawltopiclink no sidekiq (discourse)

Nossa fila de baixa prioridade (sidekiq) tem várias tarefas: Jobs::Crawltopiclink,
se eu não limpar a fila Jobs::Crawltopiclink, levarei mais tempo para executá-la toda (enquanto o tempo é importante, não quero perder mais tempo)
Gostaria de saber se devo excluir a fila Jobs::Crawltopiclink?

Então, quero saber o significado de Jobs::Crawltopiclink.

Sua resposta pode não estar correta, espero obter mais respostas de você e de todos.

Simon_Manning · Novembro 22, 2021, 5:33pm

A menos que eu esteja perdendo algo, TopicLink parece lidar com qualquer link que apareça em uma postagem. Quando um é criado, ele enfileira o trabalho crawl_topic_link que, em seguida, rastreia o URL para recuperar o título.

Por exemplo, eu poderia inserir exatamente o seguinte em uma postagem:

Este será um link: https://github.com/discourse/discourse/blob/main/app/jobs/regular/crawl_topic_link.rb

Inicialmente, é assim que ele será incorporado à postagem, exibindo o URL como um link. Quando esse trabalho for executado, ele rastreará o URL para recuperar o título, então a postagem será reprocessada para exibir o título como um link da maneira como aparece em sua postagem anterior.

Normalmente, isso acontecerá muito rapidamente, então será mal perceptível, mas se você tiver muitos desses trabalhos enfileirados por algum motivo, poderá ver URLs por longos períodos antes que eles sejam substituídos pelos títulos. Espero que, se você excluir os trabalhos, eles permaneçam como URLs em vez de links com títulos.

Se você realizou uma importação recentemente, criando muitas postagens novas em um curto espaço de tempo, isso pode explicar um acúmulo de tais trabalhos. Acho que você terá o melhor resultado permitindo que esses trabalhos terminem. Acredito que esta seja uma boa posição padrão com o Sidekiq: apenas deixe que ele faça o que faz. (A menos que você esteja vendo problemas específicos com alguns trabalhos.)

hokod · Novembro 22, 2021, 11:19pm

@Simon_Manning
Muito obrigado,
Entendi parcialmente o significado de jobs::crawltopiclink

Você tem um entendimento muito amplo.

Tópico		Respostas	Visualizações
Suggested Topics not shown to web spiders Feature suggested-topics	21	3044	21 de Fevereiro de 2017
Removing title from URL breaks links Product Support	24	2951	2 de Julho de 2019
Search engines now blocked from indexing non-canonical pages Announcements seo	23	4892	15 de Março de 2022
Edit URL into a topic title after creation? Feature	17	3801	10 de Maio de 2020
Removing the /2, /3, /4, etc links for each reply within a topic URL Development seo	33	4791	13 de Outubro de 2024

O que significa Jobs::Crawltopiclink no Sidekiq (Discourse)?

Tópicos relacionados