Question sur la charge extrême / Disk IO / CPU / utilisation mémoire

Bonjour, Récemment, notre instance a reçu davantage de messages de « charge extrême ». Aujourd’hui, cela s’est produit à 9 h 40.

J’ai examiné le journal de notre serveur. Le processeur et la charge semblaient corrects à 9 h 40 :

La mémoire est également très stable tout au long de la journée :

Le pic semblait concerner les entrées/sorties disque et la bande passante sortante/entrante :

Cela m’a conduit à soupçonner qu’il s’agissait de requêtes de robots d’exploration à 9 h 40. Cependant, je ne sais pas s’il existe un moyen de vérifier cela. J’ai examiné la liste des robots d’exploration et le nombre de requêtes ; la plupart proviennent de Google et de Bing, nous ne allons donc certainement pas les bloquer.

Cela m’a amené aux questions suivantes :

  • Existe-t-il un journal où je peux identifier qui accède au site à un moment donné ?
  • Existe-t-il un moyen de faire en sorte que les robots d’exploration étalent leurs requêtes, étant donné qu’il s’agit de « bons » robots ?
  • Ajouter plus de CPU ou de mémoire au serveur aidera-t-il la situation ? Je suis un peu sceptique à ce sujet, car l’utilisation du CPU et de la mémoire n’a pas augmenté. Est-ce qu’une utilisation moyenne de la mémoire de 80 % est trop élevée ?

Nous disposons de 2 vCPU et de 2 Go de mémoire. Nous avons configuré l’instance avec 4 workers Unicorn, ce qui semble correspondre à la quantité de RAM dont nous disposons.

Oui, vérifiez /var/discourse/shared/standalone/log/var-log/nginx/access.log.

Oui, le paramètre du site « Ralentir les agents utilisateur des robots d’indexation ».

Il semble que vous ayez rencontré une attente E/S lors du pic de 9 h 40. Augmenter la RAM pourrait aider, car davantage de données peuvent être conservées en cache, mais je ne sais pas si ce pic concernait des lectures ou des écritures, car vous avez coupé la légende du graphique :upside_down_face:.

Cela dit, si vous pouvez vous le permettre, passer au droplet de taille supérieure disponible aidera toujours.

Merci. J’ai consulté le journal à 9 h 40 et les requêtes semblent provenir d’actions d’utilisateurs (navigateurs de consommateurs) plutôt que de robots d’indexation.

Le pic vert correspondait à la lecture.

Oui, puisque cela ne ressemble pas à des robots d’indexation, je pense que je vais tester avec la taille de droplet suivante et augmenter la RAM de 2 Go à 4 Go pour voir si cela aide.

C’est un peu surprenant pour moi que l’activité des utilisateurs soit la cause, car j’ai toujours eu l’impression que nous avions moins d’auteurs actifs au cours des deux dernières années qu’avant. Mais quand j’ai consulté Google Analytics, nous avons effectivement une augmentation régulière du nombre d’utilisateurs – peut-être que même si le nombre d’auteurs a diminué, celui des lecteurs silencieux a augmenté…

Merci pour les indications. Je vous en suis reconnaissant.

Il semble que doubler la mémoire fasse effectivement la différence, du moins d’après l’analyse des graphiques, en particulier en ce qui concerne les entrées/sorties disque et les pics de charge.