Gibt es Obergrenzen für das RSS Polling Plugin?

Unterstützung
1

Wir bauen eine Website, die stark auf RSS-Abstimmung angewiesen ist (eine Gemeinschaft von Podcasts, jeder mit seiner eigenen Kategorie und seinem eigenen RSS-Feed, der neue Beiträge veröffentlicht, sobald neue Episoden auf ihren Plattformen erscheinen). Ich habe mich gefragt, wie groß das Risiko ist, dass wir an unserem Erfolg scheitern, d. h. mehr Feeds zu verarbeiten, als RSS-Abstimmung bewältigen kann.

Insbesondere:

  • Haben Sie dieses Plugin mit einer sehr großen Anzahl von Feeds getestet?
  • Macht es bei vielen Feeds einen Unterschied in Bezug auf die Belastung, ob alle 10 Minuten oder beispielsweise jede Stunde abgefragt wird?
  • Werden alle Feeds gleichzeitig abgefragt, werden sie nacheinander abgefragt oder gibt es eine andere Methode? Ich frage, weil eine gleichzeitige Abfrage theoretisch empfindlicher auf eine hohe Anzahl von Feeds reagiert als wenn die Feeds nacheinander abgefragt werden.

Ein wiederkehrender und bisher harmloser Fehler, der möglicherweise mit mehreren Feeds zusammenhängt, hat mich dazu motiviert, diese Fragen jetzt zu stellen, anstatt wenn es zu spät ist. :slight_smile:

3 „Gefällt mir“
2

Wie erwartet, wird diese Frage immer relevanter, da wir mehr Feeds zu unserer Website hinzufügen.

Derzeit ist es fast garantiert, dass der erste Import nicht innerhalb der erwarteten 10 Minuten (gemäß der in den Einstellungen definierten Abfragehäufigkeit) erfolgt, wenn wir einen neuen Feed hinzufügen.

Auch die Sortierung der Feeds auf der Admin-Seite, auf der alle Feeds definiert sind … kann sich ändern. Bei weniger Feeds war es immer eine statische Liste, sortiert in der gleichen Reihenfolge, in der die Feeds hinzugefügt wurden. Ich weiß weder, was die Änderung der Reihenfolge verursacht, noch nach welchem Prinzip die Feeds in den neueren Sortierungen folgen.

Ich frage mich nur, ob dies nur Symptome eines größeren Problems sind, das unsere Website zum Absturz bringt oder die Abfrage/Veröffentlichung von Feeds unzuverlässig macht.

Ich denke, das ist die wichtigste Frage. Wenn mir jemand auf das Code-Stück zeigen kann, das die Abfrage anweist, kann ich mir vielleicht selbst helfen.

Nur ein Update, wir haben gelernt, dass dieses Problem nichts mit der Anzahl der Feeds zu tun hatte. Und es ist jetzt gelöst. Sehr gut!

1 „Gefällt mir“
3

Auch an den leistungbezogenen Fragen hier interessiert

2 „Gefällt mir“
4

Sidekiq bietet einige Antworten.

Heute habe ich bemerkt, dass das Laden der Seiten etwas zu lange dauerte. In den letzten Tagen bemerkte ich bereits hier und da eine gewisse Trägheit, zum Beispiel bei der Zeit, die es dauerte, bis Discourse-Links als Seitentitel gerendert wurden.

Ich habe Sidekiq überprüft und es gab +100 Jobs Enqueued + 5 Busy. Fast alle davon waren RSS-Polling-Feeds. Ich habe die Abfrageperiodizität von 10 Minuten auf 1 Stunde geändert und die Jobs gelöscht.

Dann habe ich den Server überprüft, und das ist passiert, bevor und nachdem die Änderung vorgenommen wurde:

image
image817×306 12.2 KB

Meine Vermutung (allein auf dieser Grundlage, ich habe den Code noch nicht überprüft) ist, dass RSS Polling die Feeds in die Warteschlange stellt, so viele, wie Sie haben. Die Warteschlange stellt sicher, dass eine angemessene Anzahl gleichzeitiger Jobs vorhanden ist. Aber… ich schätze, das Risiko besteht darin, dass die Warteschlange der Feeds so lang wird, dass, wenn das neue RSS-Polling gestartet wird, das letzte noch läuft, und das ist, wenn die Dinge hässlich werden, bis es einen Reset gibt, aber die Warteschlange wird wieder wachsen, und so weiter.

Bitte korrigieren Sie mich, wenn diese Analyse falsch ist. :slight_smile:

UPDATE: RSS Polling in Aktion, +60 Feeds (in einer noch neuen Community ohne massive Aktivität und noch weniger während der Schlafenszeiten).

image
image823×254 18 KB

1 „Gefällt mir“
5

Zugehörig? Vielleicht: RSS feeds disappearing misteriously

1 „Gefällt mir“
6

Hallo, konnten Sie herausfinden, ob es eine maximale Anzahl von Feeds gibt, die man verwenden kann? Danke.