Cela m’a conduit à soupçonner qu’il s’agissait de requêtes de robots d’exploration à 9 h 40. Cependant, je ne sais pas s’il existe un moyen de vérifier cela. J’ai examiné la liste des robots d’exploration et le nombre de requêtes ; la plupart proviennent de Google et de Bing, nous ne allons donc certainement pas les bloquer.
Cela m’a amené aux questions suivantes :
Existe-t-il un journal où je peux identifier qui accède au site à un moment donné ?
Existe-t-il un moyen de faire en sorte que les robots d’exploration étalent leurs requêtes, étant donné qu’il s’agit de « bons » robots ?
Ajouter plus de CPU ou de mémoire au serveur aidera-t-il la situation ? Je suis un peu sceptique à ce sujet, car l’utilisation du CPU et de la mémoire n’a pas augmenté. Est-ce qu’une utilisation moyenne de la mémoire de 80 % est trop élevée ?
Nous disposons de 2 vCPU et de 2 Go de mémoire. Nous avons configuré l’instance avec 4 workers Unicorn, ce qui semble correspondre à la quantité de RAM dont nous disposons.
Yes, the slow down crawler user agents site setting.
Looks like what you had was I/O wait during the 9:40 peak. Increasing RAM may help as more stuff can be kept at cache, but I don’t know if that peak was read or write, as you did cut off the graph legend .
That said, if you can afford, increasing the droplet size to the next available size will always help.
Thanks. I checked out the log at 9:40am and the requests look like they come from user actions (consumer browsers) rather than crawlers.
The green peak was read.
Yeah, since it doesn’t look like its crawlers, I think I will trial with the next droplet size and increase RAM from 2gb to 4gb and see if it helps.
It is a little surprising to me that user activity is the cause, because I have always been under the impression that we have fewer active posters in the last 2 years than before. But when I looked at Google Analytics, we do have steadily increase users- perhaps even though posters have decreased, lurkers have increased…
.
