Demasiados oneboxes en las respuestas están sobrecargando nuestro servidor Discourse

Mi foro es: Educación.
Un gran número de lectores (estudiantes) creó Onebox.
Como resultado, nuestro CPU del servidor está sobrecargado; el sitio web presenta dos errores: 502 Bad Gateway y 504 Gateway Time-out, por lo que no se puede acceder al sitio.
Quiero encontrar una solución: reducir la frecuencia (reducir la velocidad) de creación de Onebox en Discourse (Onebox seguirá generándose, pero el tiempo que toma crear Oneboxs consecutivos será mayor).
Si podemos prolongar el tiempo de creación de Oneboxs, entonces nuestro CPU del servidor no estará sobrecargado.
Gracias.

Lo más sencillo probablemente sea aumentar la memoria RAM y/o la CPU de tu servidor. ¿Cuáles son las especificaciones de tu servidor? ¿Cuántas publicaciones se crean cada día?

Un gran número de estudiantes crean muchas oneboxes; tenemos alrededor de 10.000 estudiantes.
También pensé en soluciones: aumentar la CPU y la RAM.
Sin embargo, cuando probamos la CPU, el rendimiento promedio fue entre el 25% y el 45%. En ocasiones, nuestro Discourse sufre sobrecarga de CPU, lo que provoca la inaccesibilidad de nuestro sitio web.
Por eso busqué otra solución.
Jay Pfaffman, ¡gracias!

¿Ajustaste los parámetros de memoria después de modificar la memoria? Parece que la base de datos es el cuello de botella. Hay varios temas sobre el ajuste de servidores grandes. Es ahí donde debes buscar.

Puedes revisar la cola de Sidekiq y ver si quizás esos trabajos deberían estar en una cola de menor prioridad, pero creo que el ajuste de la base de datos es probablemente el punto clave.

También estamos enfrentando el mismo problema, sidekiq (bajo) se ejecuta rápido, lo que hace que nuestro discourse no pueda acceder al sitio web. ¿Hay alguna forma de ajustar la frecuencia de sidekiq (bajo)?

Creo que tus opciones son añadir CPU y RAM o limitar cuántos enlaces pueden crear los usuarios.

mi problema es casi similar,

En Sidekiq, ¿cómo reducir la frecuencia de ejecución de Sidekiq?
Imágenes a continuación:

Queremos reducir la frecuencia de ejecución de “Low” en Sidekiq.
Debido a que “Low” en Sidekiq se ejecuta demasiado rápido (alta frecuencia), causa errores en el sitio web, los lectores no pueden visitar el sitio web (502, 504).
Quiero especificar Sidekiq: Sidekiq (Low) solo tiene permitido ejecutarse con cuántas solicitudes por segundo.
¿Puedes ayudarme con eso?

Para mí, la CPU y la RAM no están altas.
Con mi sidekiq, Low (sidekiq) va demasiado rápido. Hace que el sitio web falle.

Por lo que sé, Sidekiq no es personalizable.

Con esos números que estás mostrando, te sugeriría que actualices tu servidor con más memoria y procesos.

Al observar el gráfico de nivel de función del producto Sidekiq, dos cosas llaman la atención:

  • el nivel básico de código abierto incluido de forma gratuita con Discourse carece de:

    1. limitación de velocidad (que creo que es lo que buscas)
    2. lotes (que podrías usar para realizar trabajo fuera de los períodos de mucha actividad de usuarios para aquellos trabajos que podrías posponer)

Como tal, creo que necesitas mirar el lado del hardware.

Sin embargo, sería interesante saber si algunos sitios podrían actualizar a Pro y cuánto trabajo implicaría (¿es solo agregar una clave de licencia?). ¿Quizás alguien lo ha intentado antes?

El producto Pro no es barato, cuesta $99/mes. ¿Hace un caso para gastar mucho más en hardware? ¿Incluso $50/mes podrían comprarte una mejora de hardware significativa? ¿Cuánto estás gastando ahora?

Si deseas considerar el uso del producto Pro con Discourse, Pavilion podría ayudarte con eso, pero esa consultoría también tendría un costo.

Luego, siempre existe la opción de que alguien lo aloje por ti y asuma todos esos desafíos.

Creo que necesitarás aumentar significativamente tu presupuesto para ejecutar el sistema de la manera que deseas que funcione.

¿Puede proporcionar algunos datos? ¿Cuántos oneboxes por respuesta, cuántas respuestas por tema y cuántos oneboxes en total por tema?