Plus de 3 millions de jobs en file d'attente apparaissent dans Sidekiq ? Comment puis-je arrêter de générer la file d'attente ?

Soutien
1

maintenant 3k après que je les ai tous nettoyés

L'image montre une collection de tâches pour un résumé de chat, avec des détails sur les identifiants d'utilisateur et le respect forcé vu récemment dans les paramètres. (Légendé par l'IA)
L'image montre une collection de tâches pour un résumé de chat, avec des détails sur les identifiants d'utilisateur et le respect forcé vu récemment dans les paramètres. (Légendé par l'IA)2452×342 112 KB

J’essaie de rechercher des paramètres de chat ou de résumé dans le tableau de bord d’administration, mais rien n’a été trouvé.

Une idée d’où ils viennent ? :sob:

P.S. ces tâches rendent mon site extrêmement lent :sob:

1 « J'aime »
2

Qu’y a-t-il dans l’onglet Retries de Sidekiq ?

L'image montre l'état d'une file d'attente de tâches avec 37 170,868 tâches traitées, 27 055 tâches échouées, 6 tâches mises en file d'attente, 4 tâches planifiées et 4 tâches mortes. (Légendé par l'IA)
L'image montre l'état d'une file d'attente de tâches avec 37 170,868 tâches traitées, 27 055 tâches échouées, 6 tâches mises en file d'attente, 4 tâches planifiées et 4 tâches mortes. (Légendé par l'IA)1356×120 15.2 KB

Ici, 6 tâches sont en cours de nouvelle tentative. C’est un nombre acceptable et je sais pourquoi.

Si ce nombre est de l’ordre de 1000, ce n’est pas bon et vous devez agir.

Avez-vous des erreurs dans les journaux d’e-mails ou les journaux d’erreurs du serveur /logs ?

Points à considérer :

Votre fournisseur de services de messagerie vous limite-t-il ? Avez-vous dépassé leurs limites de débit pour le niveau de service sur lequel vous vous trouvez ? Avez-vous payé votre facture auprès d’eux ?

3 « J'aime »
3

Un résumé des statuts des tâches indique 11 222 546 tâches traitées, 6 planifiées et aucune nouvelle tentative trouvée. (Légendé par l'IA)
Un résumé des statuts des tâches indique 11 222 546 tâches traitées, 6 planifiées et aucune nouvelle tentative trouvée. (Légendé par l'IA)2486×602 120 KB

c’est zéro

Une capture d'écran affichant un fichier journal avec divers messages système et notifications d'erreur. (Légendé par l'IA)
Une capture d'écran affichant un fichier journal avec divers messages système et notifications d'erreur. (Légendé par l'IA)1920×1064 224 KB

et ne semble pas avoir de problèmes liés aux e-mails dans le journal.

Existe-t-il un paramètre lié au résumé du chat que je peux désactiver ou dois-je simplement désactiver le chat ?

4

La file d’attente est-elle entièrement composée de tâches UserEmail (en grande partie) ?

Vérifiez le tableau de bord de votre service de messagerie (chez votre fournisseur de services de messagerie, pas sur Discourse) et voyez s’il y a des informations là-bas.

1 « J'aime »
5

oui, presque tous sont des jobs d’e-mails d’utilisateurs

J’ai vérifié Mailgun (4 instances en cours d’exécution sous mon compte)

la première est la seule qui rencontre ce problème et la date ne semble pas être mauvaise, j’ai aussi vérifié les logs mais je n’ai rien trouvé de suspect non plus.

Un tableau affichant diverses métriques pour différents domaines de messagerie, tels que le pourcentage d'e-mails acceptés, livrés, rejetés, ouverts, cliqués et signalés comme spam. (Légendé par l'IA)
Un tableau affichant diverses métriques pour différents domaines de messagerie, tels que le pourcentage d'e-mails acceptés, livrés, rejetés, ouverts, cliqués et signalés comme spam. (Légendé par l'IA)2536×960 117 KB

6

Ont-ils une piste d’audit, peut-on voir un transfert d’e-mails envoyés en continu ?

Dernier e-mail envoyé ?

7

Un tableau affichant le statut de livraison des e-mails, avec tous les e-mails marqués comme « Entregado » ou « Aceptado » avec le message « OK » ou « (...) ». (Légendé par l'IA)
Un tableau affichant le statut de livraison des e-mails, avec tous les e-mails marqués comme « Entregado » ou « Aceptado » avec le message « OK » ou « (...) ». (Légendé par l'IA)2518×1396 175 KB

comme ça ?

et le dernier il y a 12 minutes

8

Certains parviennent donc à passer, mais le traitement est-il assez rapide ?

9

comment puis-je vérifier cela ?
sur discourse (admin/email/sent) j’ai vu que l’e-mail de résumé du chat était envoyé avec une faible fréquence, comme au maximum 5-6 par jour, la plupart du temps seulement 1 ou aucun. :sob: comment se fait-il qu’il crée autant de tâches dans sidekiq ?

1 « J'aime »
10

Consultez vos journaux d’e-mails dans Admin… cela pourrait vous apporter plus de clarté.

11

J’ai remarqué que le problème de file d’attente sidekiq a commencé juste après ma mise à niveau vers 3.4.0.beta4-dev, l’autre instance que j’ai installée à peu près au même moment semble avoir le même problème (je confirme maintenant)

J’ai aussi regardé les ids, il semble que le système essaie d’envoyer un résumé de chat à tous les utilisateurs :thinking:
Est-ce normal ?

Un tableau affichant les tâches actuelles à faible priorité, y compris leurs arguments. (Légendé par l'IA)
Un tableau affichant les tâches actuelles à faible priorité, y compris leurs arguments. (Légendé par l'IA)1060×1128 91.2 KB

mise à jour :
Désactiver le chat empêche ces tâches d’être mises en file d’attente à nouveau, mais mon site a besoin de la fonction de chat, et je cherche toujours d’autres solutions.

autre mise à jour :
J’ai désactivé la fonction de chat pendant 2 jours, je l’ai réactivée et j’ai changé les jours de rétention du canal de chat de 180 à 3 jours. Maintenant, cela semble fonctionner correctement, je vais continuer à surveiller.

mise à jour 02/01 :

J’ai défini les jours de rétention à 7, environ 1 101 685 tâches mises en file d’attente actuellement, il semble que mon serveur puisse gérer cette quantité et que le site ne devienne pas lent.

4 « J'aime »
12

@th21 combien d’utilisateurs et de canaux de discussion avez-vous ?

À quelle vitesse (ou lentement :cry:) la file d’attente low est-elle traitée ?

13

9k utilisateurs et 3 canaux (dont 1 canal par défaut pour le personnel)

c’est l’état actuel

L'image montre un tableau de bord avec 40 301 858 éléments traités, 40 tentatives échouées, 5 instances occupées et 5 522 éléments mis en file d'attente sur quatre files d'attente étiquetées critique, par défaut, faible et ultra_faible, triés par latence et taille. (Légendé par l'IA)
L'image montre un tableau de bord avec 40 301 858 éléments traités, 40 tentatives échouées, 5 instances occupées et 5 522 éléments mis en file d'attente sur quatre files d'attente étiquetées critique, par défaut, faible et ultra_faible, triés par latence et taille. (Légendé par l'IA)1430×860 105 KB

avant que je n’apporte les modifications mentionnées ci-dessus, la taille de la file d’attente faible ne semble jamais diminuer

14

Désolé @th21 - c’était effectivement un bug qui sera corrigé par

Nous avons une requête qui liste toutes les mentions ou messages privés “non lus” pour le chat, et, en essayant d’être trop malin, elle s’est avérée erronée. Au lieu de mettre en file d’attente un “résumé de chat” (alias notification par e-mail) pour les mentions dans les canaux ou les messages privés non lus, elle mettait en file d’attente un travail pour chaque message :expressionless: Comme ce travail s’exécutait toutes les 5 minutes, il a facilement surchargé sidekiq avec des travaux inutiles… (note : les e-mails n’étaient heureusement pas envoyés car nous ne pourrions récupérer aucune mention).

4 « J'aime »
15

Merci, quelle est l’heure d’arrivée estimée pour que cet engagement soit fusionné dans test-passed ?

1 « J'aime »
16

Moins de 48 heures

1 « J'aime »
17

@th21 il a été revu et fusionné :+1:

1 « J'aime »
18

Ce sujet a été automatiquement fermé 30 jours après la dernière réponse. Les nouvelles réponses ne sont plus autorisées.