Estamos construyendo un sitio que depende en gran medida de RSS Polling (una comunidad de podcasts, cada uno con su propia categoría y su propia publicación RSS de nuevas entradas a medida que publican nuevos episodios en sus plataformas). Me preguntaba cuál es el riesgo de que muramos de éxito, es decir, de que introduzcamos más feeds de los que RSS Polling puede manejar.
Específicamente:
- ¿Ha probado este plugin con un número muy elevado de feeds?
- Si hay muchos feeds, ¿hay alguna diferencia en términos de estrés al consultar cada 10 minutos o, digamos, cada hora?
- ¿Se consultan todos los feeds al mismo tiempo, se consultan en secuencia o de alguna otra manera? Pregunto porque una consulta simultánea sería, en teoría, más sensible a una gran cantidad de feeds que si los feeds se consultan uno tras otro.
Un error recurrente y hasta ahora inofensivo , quizás relacionado con tener varios feeds, me ha motivado a hacer estas preguntas ahora en lugar de cuando sea demasiado tarde. 
3 Me gusta
Como era de esperar, esta pregunta se está volviendo más relevante a medida que agregamos más feeds a nuestro sitio.
Ahora mismo, cuando agregamos un nuevo feed, es casi seguro que la primera importación no se realizará dentro de los 10 minutos esperados (según la frecuencia de sondeo definida en la configuración).
Además, la clasificación de los feeds en la página de administración donde se definen todos los feeds… puede cambiar. Con menos feeds, siempre era una lista estática ordenada por el mismo orden en que se agregaron los feeds. No sé qué causa el cambio de orden, ni qué principio siguen los feeds en las clasificaciones más nuevas.
Solo me pregunto si estos son solo síntomas de un problema mayor que hará colapsar nuestro sitio o hará que el sondeo/publicación de feeds no sea confiable.
Creo que esta es la pregunta más relevante. Si alguien puede señalarme la parte del código que instruye el sondeo, tal vez pueda ayudarme.
Solo una actualización, aprendimos que este problema no estaba relacionado con la cantidad de feeds. Y ya está resuelto. ¡Muy bien!
1 me gusta
También interesado en las preguntas relacionadas con el rendimiento aquí.
2 Me gusta
Sidekiq ofrece algunas respuestas.
Hoy he notado que las páginas tardaban demasiado en cargarse. En los últimos días ya había notado cierta lentitud aquí y allá, por ejemplo, en el tiempo que tardaban los enlaces de Discourse en renderizarse como títulos de página.
Comprobé Sidekiq y había más de 100 trabajos en cola (Enqueued) y 5 ocupados (Busy). Casi todos eran encuestas RSS (RSS Polling feeds). Cambié la periodicidad de las encuestas de 10 minutos a 1 hora y eliminé los trabajos.
Luego comprobé el servidor, y esto es lo que sucedió antes y después del cambio:
Mi suposición (basada solo en esto, todavía no he revisado el código) es que RSS Polling enviará los feeds a la cola, tantos como tengas. La cola asegurará que haya un número razonable de trabajos simultáneos. Pero… supongo que el riesgo es que la cola de feeds se haga tan larga que cuando se active la nueva encuesta RSS, la última todavía esté en ejecución, y aquí es cuando las cosas se ponen feas hasta que hay un reinicio, pero la cola volverá a crecer, y etc.
Por favor, corríjanme si este análisis es erróneo.
ACTUALIZACIÓN: RSS Polling en acción, +60 feeds (en una comunidad todavía nueva sin actividad masiva e incluso menos durante las horas de sueño).
1 me gusta
Hola, ¿lograste saber si hay un número máximo de feeds que puedes usar? Gracias.
