Nous construisons un site qui repose fortement sur le sondage RSS (une communauté de podcasts, chacun avec sa propre catégorie et son propre RSS publiant de nouveaux articles lorsqu’ils publient de nouveaux épisodes sur leurs plateformes). Je me demandais quel était le risque de mourir de succès, c’est-à-dire d’avoir plus de flux que ce que le sondage RSS peut gérer.
Spécifiquement :
- Avez-vous testé ce plugin avec un très grand nombre de flux ?
- S’il y a beaucoup de flux, y a-t-il une différence en termes de stress à sonder toutes les 10 minutes ou, disons, toutes les heures ?
- Tous les flux sont-ils sondés en même temps, sont-ils sondés séquentiellement, ou autre chose ? Je demande car un sondage simultané serait en théorie plus sensible à une grande quantité de flux que si les flux sont sondés les uns après les autres.
Une erreur récurrente et jusqu’à présent inoffensive peut-être liée à la présence de plusieurs flux m’a motivé à poser ces questions maintenant plutôt que lorsqu’il sera trop tard. 
3 « J'aime »
Comme prévu, cette question devient plus pertinente à mesure que nous ajoutons de nouveaux flux à notre site.
Actuellement, lorsque nous ajoutons un nouveau flux, il est presque garanti que la première importation n’aura pas lieu dans les 10 minutes prévues (selon la fréquence d’interrogation définie dans les paramètres).
De plus, le tri des flux sur la page d’administration où tous les flux sont définis… il peut changer. Avec moins de flux, c’était toujours une liste statique triée dans le même ordre que les flux ont été ajoutés. Je ne sais pas ce qui cause le changement d’ordre, ni quel principe les flux suivent dans les nouveaux tris.
Je me demande juste si ce ne sont que des symptômes d’un problème plus important qui fera planter notre site ou rendra l’interrogation/la publication des flux peu fiables.
Je pense que c’est la question la plus pertinente. Si quelqu’un peut m’indiquer le morceau de code qui gère l’interrogation, je pourrai peut-être m’en sortir tout seul.
Juste une mise à jour, nous avons appris que ce problème n’était pas lié au nombre de flux. Et il est maintenant résolu. Très bien !
1 « J'aime »
Également intéressé par les questions relatives aux performances ici
2 « J'aime »
Sidekiq offre quelques réponses.
Aujourd’hui, j’ai remarqué que les pages prenaient un peu trop de temps à se charger. Ces derniers jours, j’avais déjà remarqué une certaine lenteur ici et là, par exemple dans le temps nécessaire pour que les liens Discourse soient rendus en titres de page.
J’ai vérifié Sidekiq et il y avait +100 tâches Enqueued + 5 Busy. Presque toutes étaient des flux RSS Polling. J’ai changé la périodicité du polling de 10 minutes à 1 heure et supprimé les tâches.
Ensuite, j’ai vérifié le serveur, et voici ce qui s’est passé avant et après le changement :
Ma supposition (basée uniquement sur cela, je n’ai pas encore vérifié le code) est que le RSS Polling enverra les flux dans la file d’attente, autant que vous en ayez. La file d’attente garantira un nombre raisonnable de tâches simultanées. Mais… je suppose que le risque est que la file d’attente des flux devienne si longue que lorsque le nouveau RSS Poll est engagé, le dernier est toujours en cours d’exécution, et c’est là que les choses se gâtent jusqu’à ce qu’il y ait une réinitialisation, mais la file d’attente grandira à nouveau, et ainsi de suite.
Veuillez me corriger si cette analyse est erronée.
MISE À JOUR : RSS Polling en action, +60 flux (sur une communauté encore nouvelle sans activité massive et encore moins pendant les heures de sommeil).
1 « J'aime »
Bonjour, avez-vous réussi à savoir s’il y a un nombre maximum de flux que l’on peut utiliser ? Merci.
