Muitas oneboxes em respostas estão sobrecarregando nosso servidor Discourse

Meu fórum é: Educação.
Um grande número de leitores (estudantes) criou Onebox,
Como resultado, nosso servidor CPU está sobrecarregado; o site apresenta dois erros: 502 Bad Gateway e 504 Gateway Time-out, impossibilitando o acesso ao site.
Quero encontrar uma solução: reduzir a frequência (diminuir a velocidade) da criação de Onebox no Discourse (o Onebox ainda será gerado, mas o tempo necessário para criar Oneboxes consecutivos será maior).
Se conseguirmos prolongar o tempo de criação dos Oneboxes, nosso servidor CPU não ficará sobrecarregado.
Obrigado.

A coisa mais fácil provavelmente é aumentar a memória RAM e/ou a CPU do seu servidor. Quais são as especificações do seu servidor? Quantas postagens são criadas por dia?

Um grande número de alunos cria muitos oneboxes; temos cerca de 10.000 alunos.
Também pensei em soluções: aumentar a CPU e a RAM.
No entanto, ao testarmos a CPU, o desempenho médio ficou entre 25% e 45%. Em alguns momentos, nosso Discourse sofre sobrecarga de CPU, resultando na inacessibilidade do nosso site.
Por isso, queria outra solução.
Jay Pfaffman, muito obrigado!!!

Você ajustou os parâmetros de memória após modificar a memória? Parece que o banco de dados é o gargalo. Existem alguns tópicos sobre otimização de servidores grandes. É ali que você deve procurar.

Você pode verificar a fila do Sidekiq e ver se talvez essas tarefas deveriam estar em uma fila de prioridade mais baixa, mas acredito que a otimização do banco de dados é provavelmente o caminho a seguir.

Também estamos enfrentando o mesmo problema, o sidekiq (low) roda rápido, fazendo com que nosso discourse falhe ao acessar o site.
Existe alguma maneira de ajustar a frequência do sidekiq (low)?

Eu acho que suas opções são adicionar CPU e RAM ou limitar quantos links os usuários podem criar.

meu problema é quase semelhante,

No sidekiq, como reduzir a frequência de execução do sidekiq.
Imagens abaixo:

Queremos reduzir a frequência de execução do Low no sidekiq.
Porque o Low no sidekiq executa muito rápido (alta frequência), causando erros no site, os leitores não conseguem visitar o site (502, 504).
Quero especificar Sidekiq: Sidekiq (Low) só pode ser executado com quantas requisições/segundo
Você pode me ajudar com isso?

Para mim, a CPU e a RAM não estão altas.
Com o meu Sidekiq, o Low (sidekiq) roda muito rápido. Faz o site falhar.

Até onde sei, o sidekiq não é personalizável.

Com esses números que você está mostrando, eu sugiro que você atualize seu servidor com mais memória e processos.

Olhando para o gráfico de nível de recurso do produto Sidekiq, duas coisas se destacam:

  • o nível básico de OSS incluído gratuitamente com o Discourse não possui:

    1. limitação de taxa (que acredito ser o que você procura?)
    2. lotes (que você pode usar para fazer trabalho fora dos períodos de pico de usuários para aqueles trabalhos que você poderia adiar)

Como tal, acho que você precisa olhar para o lado do hardware.

No entanto, seria interessante saber se alguns sites poderiam fazer o upgrade para o Pro e quanto trabalho seria envolvido (é apenas adicionar uma chave de licença?). Talvez alguém já tenha tentado isso antes?

O produto Pro não é barato, custando US$ 99/mês. Isso justifica gastar muito mais em hardware? Mesmo US$ 50/mês podem comprar uma atualização de hardware significativa? Quanto você está gastando agora?

Se você quiser considerar o uso do produto Pro com o Discourse, o Pavilion pode ajudá-lo com isso, mas essa consultoria também teria um custo.

Então, há sempre a opção de contratar alguém para hospedá-lo para você e assumir todos esses desafios.

Acho que você precisará aumentar significativamente seu orçamento para executar o sistema da maneira que deseja que ele funcione.

Você pode fornecer alguns dados? Quantos oneboxes por resposta, quantas respostas por tópico e quantos oneboxes no total por tópico?