Questo mi ha portato a sospettare che si trattasse di richieste di crawler alle 9:40. Tuttavia, non so se esiste un modo per verificare questo aspetto. Ho controllato l’elenco dei crawler e il numero di richieste; la maggior parte proviene da Google e Bing, quindi sicuramente non li bloccheremo.
Questo mi ha portato alle seguenti domande:
Esiste un log in cui posso vedere chi sta accedendo al sito in un determinato momento?
È possibile configurare i crawler per distribuire le loro richieste nel tempo, dato che si tratta di crawler “benvenuti”?
Aggiungere più CPU o memoria al server aiuterebbe la situazione? Sono un po’ scettico al riguardo, poiché l’utilizzo di CPU e memoria non ha mostrato picchi. Un’utilizzazione media della memoria dell’80% è troppo alta?
La nostra istanza ha 2 vCPU e 2 GB di memoria. Abbiamo configurato 4 worker Unicorn, il che sembra in linea con la quantità di RAM disponibile.
Sì, l’impostazione del sito rallenta gli user agent dei crawler.
Sembra che durante il picco delle 9:40 si fosse verificata una attesa I/O. Aumentare la RAM potrebbe aiutare poiché più dati possono rimanere nella cache, ma non so se quel picco fosse legato a letture o scritture, dato che hai tagliato la legenda del grafico .
Detto questo, se puoi permetterlo, aumentare le dimensioni del droplet alla taglia disponibile successiva aiuterà sempre.
Grazie. Ho controllato il registro alle 9:40 e le richieste sembrano provenire da azioni degli utenti (browser dei consumatori) piuttosto che da crawler.
Il picco verde era di lettura.
Sì, dato che non sembrano essere crawler, penso che farò una prova con la dimensione del droplet successiva, aumentando la RAM da 2 GB a 4 GB e vedrò se aiuta.
Mi sorprende un po’ che la causa sia l’attività degli utenti, perché ho sempre avuto l’impressione che negli ultimi due anni ci siano stati meno utenti attivi rispetto al passato. Ma quando ho controllato Google Analytics, vedo che gli utenti sono in costante aumento: forse, anche se i postatori sono diminuiti, i lurker sono aumentati…
Sembra che raddoppiare la memoria faccia effettivamente la differenza, almeno a giudicare dai grafici, specialmente per quanto riguarda l’I/O del disco e i picchi di carico.
.
