Stiamo costruendo un sito che si basa pesantemente su RSS Polling (una community di podcast, ognuno con la propria categoria e la propria pubblicazione RSS di nuovi post man mano che pubblicano nuovi episodi sulle loro piattaforme). Mi stavo chiedendo quale sia il rischio di morire di successo, ovvero di gestire più feed di quanti RSS Polling possa gestirne.
Nello specifico:
- Avete testato questo plugin con un numero molto elevato di feed?
- Se ci sono molti feed, fa differenza in termini di stress effettuare il polling ogni 10 minuti o, diciamo, ogni ora?
- Vengono interrogati tutti i feed contemporaneamente, vengono interrogati in sequenza o qualcos’altro? Chiedo perché un polling simultaneo sarebbe in teoria più sensibile a un gran numero di feed rispetto a se i feed vengono interrogati uno dopo l’altro.
Un errore ricorrente e finora innocuo forse correlato alla presenza di diversi feed mi ha spinto a porre queste domande ora piuttosto che quando sarà troppo tardi. 
3 Mi Piace
Come quasi previsto, questa domanda sta diventando più rilevante man mano che aggiungiamo più feed al nostro sito.
Al momento, quando aggiungiamo un nuovo feed, è quasi garantito che la prima importazione non avvenga entro i 10 minuti previsti (secondo la frequenza di polling definita nelle impostazioni).
Inoltre, l’ordinamento dei feed nella pagina di amministrazione in cui sono definiti tutti i feed… può cambiare. Con meno feed era sempre un elenco statico ordinato nello stesso ordine in cui i feed venivano aggiunti. Non so cosa causi il cambio di ordine, né quale principio seguano i feed nei nuovi ordinamenti.
Mi chiedo solo se questi siano solo sintomi di un problema più grande che farà crollare il nostro sito o renderà inaffidabile il polling/posting dei feed.
Penso che questa sia la domanda più pertinente. Se qualcuno può indicarmi il pezzo di codice che istruisce il polling, forse posso aiutarmi da solo.
Solo un aggiornamento, abbiamo appreso che questo problema non era correlato alla quantità di feed. Ed è risolto ora. Molto bene!
1 Mi Piace
Interessato anche alle domande relative alle prestazioni qui
2 Mi Piace
Sidekiq offre alcune risposte.
Oggi ho notato che le pagine impiegavano un po’ troppo tempo a caricarsi. Negli ultimi giorni avevo già notato qualche lentezza qua e là, ad esempio nel tempo necessario affinché i link di Discourse venissero renderizzati come titoli di pagina.
Ho controllato Sidekiq e c’erano più di 100 processi in coda (Enqueued) e 5 occupati (Busy). Quasi tutti erano relativi al polling dei feed RSS. Ho modificato la periodicità del polling da 10 minuti a 1 ora e ho eliminato i processi.
Poi ho controllato il server, ed ecco cosa è successo prima e dopo la modifica:
La mia ipotesi (basata solo su questo, non ho ancora controllato il codice) è che il polling RSS invii i feed alla coda, quanti ne hai. La coda garantirà che ci sia un numero ragionevole di processi simultanei. Ma… immagino che il rischio sia che la coda dei feed diventi così lunga che, quando viene avviato il nuovo polling RSS, l’ultimo sia ancora in esecuzione, ed è qui che le cose peggiorano fino a quando non c’è un reset, ma la coda crescerà di nuovo, e così via.
Per favore, correggimi se questa analisi è sbagliata.
AGGIORNAMENTO: Il polling RSS in azione, +60 feed (su una community ancora nuova senza attività massiccia e ancora meno durante le ore notturne).
1 Mi Piace
Ciao, sei riuscito a sapere se c’è un numero massimo di feed che puoi usare? Grazie.
