RSS-Polling kann 20 Minuten oder länger zur Verarbeitung eines Feeds benötigen

Beitragen UX
,
1

Hi, zunächst einmal vielen Dank für die neue RSS-Polling-Verwaltungsoberfläche. Das macht einen riesigen Unterschied!

Wir haben eine Website mit Dutzenden von RSS-Feeds. Ich habe in Sidekiq festgestellt, dass einige Jobs für bestimmte Feeds zwanzig Minuten oder länger dauern können. Das verstopft die Warteschlange leicht.

Es gibt die Einstellung RSS polling feed request timeout, aber das ist nicht das Problem. Der RSS-Feed ist schnell verfügbar und lädt zügig (zumindest wenn ich ihn im selben Moment mit meinem Browser teste, während Sidekiq mit demselben Feed zu kämpfen hat). Das Problem scheint zu sein, dass einige RSS-Feeds alle Episoden eines Podcasts enthalten (im Gegensatz zu nur den 10–15 neuesten) UND dass Discourse anscheinend alle diese Einträge verarbeitet, selbst wenn die Episoden bereits heruntergeladen und ohne Änderungen vorliegen. Grundsätzlich kann Sidekiq leicht eine halbe Stunde oder länger mit RSS-Feeds zu kämpfen haben, die keine Änderungen oder neuen Episoden bringen.

Idealerweise würde Discourse schnell erkennen, dass es keine Änderungen gibt, und weitermachen.

Optional könnte es eine Einstellung geben, die das Lesen auf die ersten NN Einträge des Feeds beschränkt.

Oder zumindest ein Zeitlimit, um ein Polling abzubrechen, wenn es nach NN Minuten (5 Minuten, oder höchstens 10) nicht abgeschlossen ist.

Mich interessiert, was genau passiert, wenn ein Feed länger als 10 Minuten zur Verarbeitung braucht und Sidekiq zu 100 % ausgelastet ist. Was genau kann so lange dauern und so aufwendig zu verarbeiten sein?

Denkst du, dass dies im aktuellen Plugin verbessert werden könnte?

2 „Gefällt mir“
RSS Polling: unchanged feed items are reported as "Updated the existing topic" after #43645
2

ich würde mich freuen, das zu verbessern. Könntest du mir die URL deines Feeds schicken, damit ich es besser lokal testen kann? (Falls du es privat halten möchtest, schick mir gerne eine PN)

2 „Gefällt mir“
4

Vielen Dank @zogstrip für deine schnelle Antwort! Die RSS-Feeds sind öffentlich und werden sogar ausdrücklich empfohlen für alle, die gerne unabhängige Podcasts und Radiosendungen auf Spanisch hören. :wink:

Hier halten wir die Liste der gültigen RSS-Feeds, die wir vorübergehend deaktiviert haben, damit unser Server etwas Luft bekommt, aufbewahrt: Limpieza de RSS feeds - nº 3 por icaria36 - Sobre Podkasts - Podkasts

Viele von ihnen nutzen WordPress, und wir können sie bitten, die Anzahl der Einträge in ihrem RSS-Feed anzupassen. Aber viele verwenden iVoox, eine zumindest in spanischsprachigen Ländern beliebte Plattform. Sie liefern alle Episoden einer Sendung in ihrem RSS-Feed aus, sie sind ein (relativ) großes Unternehmen, und es ist schwierig, selbst einen „Kontakt“-Link zu finden, der zu einer erreichbaren Person führt. Also sind wir dort festgefahren. Für deinen Test würde ich damit beginnen, die iVoox-Feeds hinzuzufügen, und dann weitere hinzufügen, falls du noch mehr möchtest.

P.S.: Du kannst mit einem beginnen, der ungewöhnlich lang ist: <![CDATA[Es lo que hay - Lliure directe]]>

1 „Gefällt mir“
5

Ich habe ein paar PRs in Arbeit, die die Geschwindigkeit beim Polling/Importieren großer Feeds deutlich verbessern sollten.

2 „Gefällt mir“
6

O M G !!!

Vielen herzlichen Dank! Das war schnell und präzise.

Ich bin sehr froh über unseren kleinen Beitrag, dieses Problem gemeldet zu haben. Auch wenn unser Fall ziemlich speziell ist (vermute ich?), wird die Lösung in geringerem Maße die Leistungsoptimierung von praktisch jeder Discourse-Instanz, die dieses Plugin verwendet, unterstützen.

Ich sehe, dass die Patches gemerged wurden. Bedeutet das, dass wir sie jetzt durch ein Discourse-Update erhalten können?

2 „Gefällt mir“
7

„Merged“ bedeutet, dass die Änderungen im main-Branch vorliegen. In der Regel verfolgen Foren nicht den main-Branch, sondern den latest-Branch. Das heißt, dass nach dem Mergen noch darauf gewartet werden muss, bis die automatischen Tests ausgeführt und bestanden wurden.

Wenn du dir Commits · discourse/discourse · GitHub ansiehst, kannst du sehen, dass dies gerade bei zogstrips Commits passiert ist (dort ist ein grüner Haken zu sehen, während der Commit darüber noch den braunen Punkt hat).

image
image1309×359 26.7 KB

Und jetzt kannst du die Commits auch im latest-Branch sehen: Commits · discourse/discourse · GitHub

Wenn du also latest verfolgst, was Foren standardmäßig tun, kannst du jetzt aktualisieren, um diese Commits zu übernehmen.

2 „Gefällt mir“
8

Ich habe die RSS-Feeds wieder aktiviert und der erste RSS-Durchlauf ist größtenteils abgeschlossen. 86 neue Beiträge sind aufgetaucht, viele davon aus den letzten Tagen, was bedeutet, dass mehrere Feeds zuvor ihre Verarbeitung nicht abschließen konnten und dies jetzt getan haben. Sehr gut!

Sehr lange Feeds können einen Job weiterhin lange beschäftigen, aber ich habe nur drei gesehen, die über 10 Minuten hinausgingen. Dieser hier läuft nach 1 Stunde immer noch… Aber er ist wirklich lang, also ist das vielleicht gerechtfertigt? Andererseits ist es an sich schon problematisch, wenn ein einzelner Feed einen Job so lange blockiert. Vielleicht liegt es daran, dass es der erste vollständige Import seit einer Weile war? Ich werde es im nächsten RSS-Durchlauf (der auf 180 Minuten eingestellt ist) erneut prüfen.

image
image1010×185 30.9 KB

1 „Gefällt mir“
9

Vielleicht hängt sich der Job, der eine Stunde lang läuft, an etwas fest, das über den Import hinausgeht? Ich habe gerade bemerkt, dass alle Beiträge aus diesem Feed scheinbar importiert wurden, inklusive Bilder und allem. Aus Benutzersicht scheint der Import abgeschlossen zu sein. Vielleicht ist es nur ein Ausreißer. Ich melde mich nach ein paar weiteren RSS-Zyklen wieder.

10

schön :+1:

sind diese Feeds „neu“ oder wurden sie bereits alle importiert? Ich habe nicht viel daran getan, die Geschwindigkeit des initialen Imports zu verbessern, da dies weitgehend davon abhängt, wie „schnell“ wir neue Themen erstellen können.

11

Sie wurden alle bereits importiert.

Okay, wir haben die Abfragefrequenz zum Testen auf 10 Minuten geändert (wir werden sie auf 180 Minuten zurücksetzen, was für uns ausreichend ist). Nach Zogstrips Fix werden die meisten Feeds innerhalb einer Minute oder weniger verarbeitet. Es gibt nur ein paar sehr lange Feeds, die bis zu 2 Minuten oder länger dauern können, aber nie (soweit ich das beurteilen kann) länger als 5 Minuten. Dieser RSS-Feed ist der einzige, der zuverlässig 4 Minuten oder länger dauert, aber er ist extrem lang, daher bin ich mir nicht sicher, ob man in diesem Fall viel tun kann. Selbst der Browser braucht eine Weile, um ihn nur anzuzeigen. (Und wir könnten ihn aus unbekannten Gründen entfernen.)

Dass der gesamte Abfrageprozess nicht länger als 5–6 Minuten dauert, ist erstaunlich. Eine enorme Verbesserung. Für mich kann dieser Bericht als gelöst gelten. Vielen Dank noch einmal, @zogstrip.

1 „Gefällt mir“
12

Keanu Reeves: My Pleasure

2 „Gefällt mir“