La mise en signet d'un post sur un grand sujet crée des temps de chargement absurdes

Macaw · Octobre 23, 2020, 5:01

Ce fil en particulier me tracassait depuis très longtemps. Je me suis demandé pourquoi il fallait de 1 à 3 minutes pour le charger, s’il décidait même de se charger.

Après avoir vu quelqu’un confirmer ce problème dans ce post, j’ai décidé d’investiguer : j’ai supprimé tous les signets du fil comportant 4 500 messages.

Il s’est chargé instantanément, comme n’importe quel autre post.

Je me suis alors demandé : quelles autres méthodes pourrais-je utiliser pour tester cela ?

Que j’aie ou non ajouté un signet au premier ou au dernier message, cela prenait toujours du temps à charger, bien que non des minutes mais environ 10 secondes.
L’effet était aggravé sur les fils avec plus de messages ; j’ai l’impression qu’il existe un certain seuil autour de 4 000 messages qui rend les temps de chargement aussi lents.
J’ai testé cela sur d’autres fils avec plus de 4 000 messages.
Plus un sujet a de signets, plus il met de temps à charger.

Je théorise que plus vous avez de signets sur un sujet comportant de nombreux messages, plus il met de temps à charger.

Pour reproduire : ouvrez un sujet avec beaucoup, beaucoup de messages et ajoutez un signet à l’un d’eux. C’est dommage que le fil référencé nécessite une connexion pour ajouter un signet, et que le fil avec le plus de réponses sur ce site n’en compte que 925.

Si vous avez besoin de plus d’informations, n’hésitez pas à demander.

codinghorror · Octobre 23, 2020, 5:55

Je suis presque certain de vous avoir déjà signalé cela, @martin, dans un autre sujet.

martin · Octobre 25, 2020, 11:17

Hmm, oui, c’est le cas dans celui-ci : Topics load slow or not at all when they have many replies and user has bookmark in them. Désolé, j’ai visiblement laissé tomber sur celui-là ; je vais déplacer ce problème en haut de ma liste.

codinghorror · Octobre 26, 2020, 12:17

C’est également suffisamment grave pour justifier un rétroportage, si cela existe dans la version stable..

martin · Octobre 26, 2020, 1:22

J’ai créé un compte sur le forum Roblox pour examiner What are you working on currently? (2020) - #5043 by FLYSLENDY04 - Creations Feedback - Developer Forum | Roblox, et je parviens à reproduire le problème. Sans signet, le sujet se charge en environ 1,3 s ; avec un signet, cela prend environ 8 s. J’ai même rencontré une erreur 502 Bad Gateway :

Cependant, j’ai créé localement un sujet avec 5000 messages et ajouté un signet, et le temps de chargement est identique, que le sujet ait un signet ou non . Je vais devoir continuer à chercher… Le code qui charge les signets d’un utilisateur dans un sujet se trouve ici :

github.com/discourse/discourse

lib/topic_view.rb

9aa2723d5


      
          def user_post_bookmarks
            @user_post_bookmarks ||= @topic.bookmarks.where(user: @user)
          end

Et le code qui recherche un signet pour chaque message est ici :

github.com/discourse/discourse

app/serializers/post_serializer.rb

9aa2723d5


      
          def post_bookmark
            return nil if @topic_view.blank?
            @post_bookmark ||= @topic_view.user_post_bookmarks.find { |bookmark| bookmark.post_id == object.id }
          end

À mes yeux, cela ne semble ni excessif ni très gourmand en ressources. user_post_bookmarks n’interroge la base de données qu’une seule fois car il est mémoïsé, donc aucun problème de requête N+1 ici. Voici également le code de la vue du sujet pour vérifier s’il existe un signet au niveau du sujet :

github.com/discourse/discourse

app/serializers/topic_view_serializer.rb

9aa2723d5


      
          def bookmarked
            object.has_bookmarks?
          end
          
          def include_bookmark_reminder_at?
            bookmarked
          end
          
          def bookmark_reminder_at
            object.first_post_bookmark_reminder_at
          end

github.com/discourse/discourse

lib/topic_view.rb

9aa2723d5


      
          def has_bookmarks?
            return false if @user.blank?
            @topic.bookmarks.exists?(user_id: @user.id)
          end
          
          def first_post_bookmark_reminder_at
            @topic.posts.with_deleted.where(post_number: 1).first
              .bookmarks.where(user: @user).pluck_first(:reminder_at)
          end

Rien de suspect non plus ici…

codinghorror · Octobre 26, 2020, 1:26

Est-ce un bug que nous avons déjà corrigé dans une version antérieure ?

martin · Octobre 26, 2020, 1:37

Je ne pense pas, le forum Roblox est sur la version Version bump to v2.6.0.beta3 · discourse/discourse@2a268bd · GitHub. Depuis, il n’y a eu que deux commits liés aux signets que j’ai effectués, et aucun d’eux ne concerne le chargement ou la sérialisation des signets de sujet.

Il doit y avoir une autre étrange coïncidence en jeu, je suppose ?

sam · Octobre 26, 2020, 2:25

Je peux reproduire ce problème sur le BBS.

Il y a quelque chose de louche dans cette requête qui fait planter l’optimiseur. Essayez d’examiner le plan d’exécution et de le modifier légèrement.

Je parie que de très, très petits ajustements permettront de faire passer ce temps d’exécution de près de 4 secondes à 1 milliseconde.

Note à tous les lecteurs : activer MiniProfiler est essentiel ici, car cela peut vous aider à identifier la requête problématique.

martin · Octobre 26, 2020, 2:52

Grâce aux conseils de @sam, j’ai découvert que cela était dû à un plan d’exécution de requête médiocre qui est exécuté sur cette ligne :

topic.posts.with_deleted.where(post_number: 1).first

Le SQL généré contient un LIMIT 1, ce qui empêche l’utilisation de l’index index_posts_on_topic_id_and_post_number, provoquant un énorme délai. Je ne parviens pas à reproduire ce problème localement car ma base de données locale contient très peu de publications ; en gros, plus votre forum Discourse complet contient de publications, plus ce problème s’aggrave. Une correction sera disponible sous peu.

sam · Octobre 26, 2020, 3:39

Je ferme ce sujet car il s’agit d’un doublon de :

@martin, tu peux publier sur le sujet original une fois le problème résolu.

Sujet		Réponses	Vues
Topics load slow or not at all when they have many replies and user has bookmark in them Bug	6	1008	Octobre 27, 2020
Major slowdown for staff in large topics Support	13	2261	Juin 4, 2019
Performance improvements on long topics? Support	30	5560	Août 20, 2018
Topics jumping to wrong post Bug	23	1209	Août 29, 2023
Disappearing bookmarks and expected behavior of /bookmarks Bug bookmarks	24	2003	Novembre 11, 2023

Sujets connexes