大規模トピックの投稿をブックマークすると、読み込み時間が異常に長くなる

Macaw · 2020 年 10 月 23 日午前 5:01

このスレッドは特に、長い間私を悩ませていました。なぜ読み込みに1〜3分もかかるのか、あるいはそもそも読み込まないのかと疑問に思いました。

この投稿で同じ問題が共有されているのを見て、調査することにしました。投稿数が4,500あるスレッドからすべてのブックマークを削除しました。

すると、他の投稿と同様に瞬時に読み込まれました。

そこで、他にどのような方法でこれを検証できるかと考えました。

最初の投稿か最新の投稿かをブックマークしたかどうかに関わらず、読み込みに時間がかかりました。ただし、数分ではなく約10秒程度でした。
投稿数が多いスレッドではこの影響がさらに顕著でした。おそらく4,000件前後の投稿数が閾値となり、読み込み時間がこれほど遅くなるのだと思います。
4,000件を超える投稿がある他のスレッドでも同様のテストを行いました。
トピックのブックマーク数が多いほど、読み込みに時間がかかります。

私の仮説としては、投稿数の多いトピックにブックマークが多いほど、読み込みに時間がかかるということです。

再現手順：投稿数が非常に多いトピックを開き、1つブックマークします。参照されているスレッドではブックマークするにはログインが必要で、このウェブサイトで返信数が最も多いスレッドは925件しかないのは残念です。

さらに情報が必要であれば、お気軽にお尋ねください。

codinghorror · 2020 年 10 月 23 日午前 5:55

以前、別のトピックで @martin さんに報告したと記憶していますが。

martin · 2020 年 10 月 25 日午後 11:17

ああ、確かにその件ですね https://meta.discourse.org/t/topics-load-slow-or-not-at-all-when-they-have-many-replies-and-user-has-bookmark-in-them/166201。申し訳ありません、その件を見落としていました。この件を私の優先リストの最上位に移動させます。

codinghorror · 2020 年 10 月 26 日午前 12:17

もし安定版にこの問題が存在するならば、これほど深刻であればバックポートされるべきです。

martin · 2020 年 10 月 26 日午前 1:22

Roblox フォーラムにアカウントを作成し、What are you working on currently? (2020) - #5043 by FLYSLENDY04 - Creations Feedback - Developer Forum | Roblox を確認したところ、そこで問題が再現しました。ブックマークなしではトピックの読み込みに約 1.3 秒かかるのに対し、ブックマークありでは約 8 秒かかります。502 Bad Gateway エラーに遭遇したこともあります：

しかし、ローカルで 5000 件の投稿があるトピックを作成し、ブックマークを設定しても、トピック内にブックマークがあってもなくても読み込み時間は同じでした。引き続き調査する必要があります… ユーザーのトピック内でのブックマークを読み込むコードはここにあります：

github.com/discourse/discourse

lib/topic_view.rb

9aa2723d5


      
          def user_post_bookmarks
            @user_post_bookmarks ||= @topic.bookmarks.where(user: @user)
          end

また、各投稿のブックマークを検索するコードはここにあります：

github.com/discourse/discourse

app/serializers/post_serializer.rb

9aa2723d5


      
          def post_bookmark
            return nil if @topic_view.blank?
            @post_bookmark ||= @topic_view.user_post_bookmarks.find { |bookmark| bookmark.post_id == object.id }
          end

これらは異常に見え、パフォーマンスに負荷をかけるものとは思えません。user_post_bookmarks はメモ化されているため、データベースへのクエリは 1 回だけ実行され、N+1 問題は発生しません。また、トピックレベルでブックマークがあるか確認するためのトピックビューのコードも以下に示します：

github.com/discourse/discourse

app/serializers/topic_view_serializer.rb

9aa2723d5


      
          def bookmarked
            object.has_bookmarks?
          end
          
          def include_bookmark_reminder_at?
            bookmarked
          end
          
          def bookmark_reminder_at
            object.first_post_bookmark_reminder_at
          end

github.com/discourse/discourse

lib/topic_view.rb

9aa2723d5


      
          def has_bookmarks?
            return false if @user.blank?
            @topic.bookmarks.exists?(user_id: @user.id)
          end
          
          def first_post_bookmark_reminder_at
            @topic.posts.with_deleted.where(post_number: 1).first
              .bookmarks.where(user: @user).pluck_first(:reminder_at)
          end

ここにも不審な点は見当たりません…

codinghorror · 2020 年 10 月 26 日午前 1:26

もしかして、以前のバージョンですでに修正済みのバグでしょうか？

martin · 2020 年 10 月 26 日午前 1:37

そうは思いません。Roblox フォーラムは Version bump to v2.6.0.beta3 · discourse/discourse@2a268bd · GitHub のバージョンにあります。それ以降、私が行ったブックマーク関連のコミットは 2 つだけですが、どちらもトピックのブックマークの読み込みやシリアライズとは無関係です。

何か他の奇妙な偶然が起きているのでしょうか？

sam · 2020 年 10 月 26 日午前 2:25

BBS でもこれを再現できます。

そのクエリに何か問題があり、プランナーを混乱させているようです。実行プランを確認し、少しいじってみてください。

私の推測では、ごくわずかな変更を加えるだけで、ほぼ 4 秒かかっていた処理が 1 ミリ秒にまで短縮できるはずです。

読者の皆様への注意点ですが、MiniProfiler を有効にしておくことがここでの鍵となります。問題のあるクエリを特定するのに役立ちます。

martin · 2020 年 10 月 26 日午前 2:52

@sam さんのアドバイスのおかげで、この問題は以下の行で実行される不適切なクエリプランが原因であることがわかりました。

topic.posts.with_deleted.where(post_number: 1).first

生成される SQL には LIMIT 1 が含まれており、その結果 index_posts_on_topic_id_and_post_number インデックスが使用されず、大幅な遅延が発生します。ローカル環境では、データベースに投稿がほとんどないため、この問題を再現できません。Discourse フォーラム全体の投稿数が多いほど、この問題は悪化します。すぐに修正版を公開します。

sam · 2020 年 10 月 26 日午前 3:39

重複のため閉じます：

@martin 問題が解決したら、元のトピックに投稿してください。

トピック		返信	表示
Topics load slow or not at all when they have many replies and user has bookmark in them Bug	6	1008	2020 年 10 月 27 日
Major slowdown for staff in large topics Support	13	2261	2019 年 6 月 4 日
Performance improvements on long topics? Support	30	5560	2018 年 8 月 20 日
Topics jumping to wrong post Bug	23	1209	2023 年 8 月 29 日
Disappearing bookmarks and expected behavior of /bookmarks Bug bookmarks	24	2003	2023 年 11 月 11 日

関連トピック