提升实例性能（热门话题、数据库大小和极端负载）

[Iceman]

大家好，Discourse 社区！

最近，我一直在努力优化我的 Discourse 安装性能，并清理一些内容，因为我的站点近期呈指数级增长。

我发现了两个问题，并在此进行了搜索，但针对某些具体细节没有找到明确的答案，所以希望这不会给大家添太多麻烦。

我遇到的第一个问题是数据库（DB）体积过大。我目前运行的是 Digital Ocean 上配置为 4GB 内存/80GB 磁盘的实例，而数据库已经快把磁盘空间占满了。我相信最终我可能需要迁移它（如果确实需要，该如何操作？），但也许是我哪里做错了。参考 Sam 的帮助文档，我导出了以下数据以便更清晰地查看：

table_name                  | row_estimate | table_size | index_size | total_size
--------------------------------------------------------------------------
post_timings                | 155307152    | 8004 MB    | 16 GB      | 24 GB
posts                       | 2257277      | 2432 MB    | 4810 MB    | 7242 MB
post_search_data            | 2279749      | 1992 MB    | 769 MB     | 2761 MB
user_actions                | 6549714      | 570 MB     | 2189 MB    | 2759 MB
topic_views                 | 8843734      | 444 MB     | 1494 MB    | 1937 MB
user_visits                 | 569317       | 33 MB      | 1892 MB    | 1925 MB
notifications               | 1482664      | 465 MB     | 914 MB     | 1379 MB
topic_users                 | 4821392      | 500 MB     | 449 MB     | 949 MB
top_topics                  | 47437        | 28 MB      | 773 MB     | 802 MB
user_auth_token_logs        | 1690555      | 515 MB     | 133 MB     | 648 MB
post_actions                | 1610428      | 145 MB     | 367 MB     | 512 MB
post_revisions              | 113187       | 396 MB     | 9312 kB    | 406 MB
topic_links                 | 605525       | 135 MB     | 254 MB     | 389 MB
topics                      | 56970        | 104 MB     | 227 MB     | 331 MB
web_hook_events             | 107760       | 295 MB     | 10 MB      | 306 MB
post_stats                  | 1955191      | 151 MB     | 97 MB      | 248 MB
directory_items             | 13026        | 1312 kB    | 157 MB     | 158 MB
incoming_links              | 812553       | 73 MB      | 82 MB      | 155 MB
post_replies                | 1111686      | 69 MB      | 71 MB      | 139 MB
topic_link_clicks           | 806821       | 54 MB      | 43 MB      | 97 MB
draft_sequences             | 654989       | 36 MB      | 48 MB      | 84 MB
topic_search_data           | 54056        | 40 MB      | 24 MB      | 65 MB
stylesheet_cache            | 901          | 57 MB      | 200 kB     | 57 MB
user_profile_views          | 204427       | 15 MB      | 30 MB      | 46 MB
quoted_posts                | 223337       | 18 MB      | 23 MB      | 41 MB
poll_votes                  | 142349       | 13 MB      | 20 MB      | 32 MB
users                       | 2211         | 2360 kB    | 29 MB      | 32 MB
given_daily_likes           | 252806       | 12 MB      | 16 MB      | 28 MB
scheduler_stats             | 115081       | 17 MB      | 4736 kB    | 21 MB
user_histories              | 30331        | 8848 kB    | 10040 kB   | 18 MB
reviewables                 | 16263        | 10032 kB   | 8344 kB    | 18 MB
optimized_images            | 34463        | 8088 kB    | 10 MB      | 18 MB
post_uploads                | 73123        | 4104 kB    | 13 MB      | 17 MB
uploads                     | 18897        | 5088 kB    | 9080 kB    | 14 MB
email_logs                  | 23224        | 4024 kB    | 9960 kB    | 14 MB
post_custom_fields          | 11043        | 3192 kB    | 9328 kB    | 12 MB
search_logs                 | 68429        | 7480 kB    | 4776 kB    | 12 MB
user_badges                 | 37176        | 2920 kB    | 5008 kB    | 7928 kB
unsubscribe_keys            | 14820        | 3352 kB    | 4480 kB    | 7832 kB
user_auth_tokens            | 5328         | 2536 kB    | 3608 kB    | 6144 kB
reviewable_scores           | 14681        | 3144 kB    | 2768 kB    | 5912 kB
reviewable_histories        | 31482        | 2976 kB    | 2616 kB    | 5592 kB
poll_options                | 20886        | 2560 kB    | 2552 kB    | 5112 kB
skipped_email_logs          | 11164        | 2528 kB    | 2328 kB    | 4856 kB
topic_allowed_users         | 21933        | 1424 kB    | 1872 kB    | 3296 kB
user_uploads                | 19038        | 1040 kB    | 1688 kB    | 2728 kB
user_stats                  | 2211         | 1888 kB    | 160 kB     | 2048 kB
drafts                      | 1324         | 1424 kB    | 368 kB     | 1792 kB
user_custom_fields          | 7467         | 688 kB     | 1064 kB    | 1752 kB
application_requests        | 11244        | 792 kB     | 528 kB     | 1320 kB
topic_tags                  | 10257        | 696 kB     | 528 kB     | 1224 kB
user_associated_accounts    | 670          | 1032 kB    | 184 kB     | 1216 kB
user_profiles               | 2211         | 424 kB     | 720 kB     | 1144 kB
email_tokens                | 3439         | 480 kB     | 528 kB     | 1008 kB
polls                       | 4030         | 520 kB     | 408 kB     | 928 kB
user_search_data            | 2215         | 376 kB     | 520 kB     | 896 kB
topic_custom_fields         | 2738         | 280 kB     | 568 kB     | 848 kB
group_users                 | 4364         | 344 kB     | 448 kB     | 792 kB
plugin_store_rows           | 2090         | 488 kB     | 296 kB     | 784 kB
incoming_referers           | 3779         | 352 kB     | 424 kB     | 776 kB
user_avatars                | 2210         | 208 kB     | 560 kB     | 768 kB
web_crawler_requests        | 1389         | 264 kB     | 440 kB     | 704 kB
group_histories             | 2210         | 272 kB     | 416 kB     | 688 kB
user_emails                 | 2218         | 224 kB     | 376 kB     | 600 kB
user_archived_messages      | 3019         | 240 kB     | 232 kB     | 472 kB
user_options                | 2218         | 384 kB     | 72 kB      | 456 kB
topic_allowed_groups        | 2098         | 128 kB     | 216 kB     | 344 kB
schema_migration_details    | 994          | 192 kB     | 88 kB      | 280 kB
group_mentions              | 933          | 104 kB     | 152 kB     | 256 kB
categories                  | 23           | 96 kB      | 112 kB     | 208 kB
google_user_infos           | 314          | 136 kB     | 72 kB      | 208 kB
theme_fields                | 24           | 168 kB     | 32 kB      | 200 kB
category_users              | 569          | 64 kB      | 136 kB     | 200 kB
javascript_caches           | 8            | 112 kB     | 64 kB      | 176 kB
incoming_domains            | 701          | 80 kB      | 96 kB      | 176 kB
groups                      | 51           | 120 kB     | 48 kB      | 168 kB
category_tag_stats          | 173          | 48 kB      | 104 kB     | 152 kB
tag_search_data             | 109          | 64 kB      | 72 kB      | 136 kB
schema_migrations           | 994          | 88 kB      | 48 kB      | 136 kB
topic_embeds                | 218          | 80 kB      | 56 kB      | 136 kB
badges                      | 51           | 80 kB      | 48 kB      | 128 kB
translation_overrides       | 170          | 72 kB      | 48 kB      | 120 kB
invites                     | 21           | 56 kB      | 64 kB      | 120 kB
user_api_keys               | 4            | 48 kB      | 64 kB      | 112 kB
category_search_data        | 20           | 48 kB      | 64 kB      | 112 kB
tags                        | 109          | 56 kB      | 48 kB      | 104 kB
screened_ip_addresses       | 9            | 48 kB      | 48 kB      | 96 kB
user_second_factors         | 26           | 48 kB      | 48 kB      | 96 kB
oauth2_user_infos           | 4            | 48 kB      | 48 kB      | 96 kB
site_settings               | 165          | 64 kB      | 32 kB      | 96 kB
api_keys                    | 1            | 48 kB      | 48 kB      | 96 kB
category_featured_topics    | 123          | 48 kB      | 48 kB      | 96 kB
screened_emails             | 4            | 48 kB      | 48 kB      | 96 kB
screened_urls               | 1            | 48 kB      | 48 kB      | 96 kB
topic_groups                | 245          | 56 kB      | 32 kB      | 88 kB
muted_users                 | 103          | 40 kB      | 48 kB      | 88 kB
tag_group_permissions       | 11           | 40 kB      | 48 kB      | 88 kB
tag_users                   | 8            | 40 kB      | 48 kB      | 88 kB
child_themes                | 6            | 40 kB      | 48 kB      | 88 kB
category_tags               | 9            | 40 kB      | 48 kB      | 88 kB
topic_timers                | 15           | 40 kB      | 48 kB      | 88 kB
ignored_users               | 10           | 40 kB      | 48 kB      | 88 kB
group_requests              | 0            | 24 kB      | 64 kB      | 88 kB
user_warnings               | 7            | 40 kB      | 48 kB      | 88 kB
email_change_requests       | 64           | 56 kB      | 32 kB      | 88 kB
web_hooks                   | 1            | 72 kB      | 16 kB      | 88 kB
custom_emojis               | 132          | 56 kB      | 32 kB      | 88 kB
color_scheme_colors         | 110          | 56 kB      | 32 kB      | 88 kB
tag_group_memberships       | 192          | 48 kB      | 32 kB      | 80 kB
category_custom_fields      | 17           | 48 kB      | 32 kB      | 80 kB
themes                      | 10           | 48 kB      | 32 kB      | 80 kB
badge_types                 | 3            | 48 kB      | 32 kB      | 80 kB
onceoff_logs                | 39           | 48 kB      | 32 kB      | 80 kB
category_tag_groups         | 8            | 40 kB      | 32 kB      | 72 kB
group_archived_messages     | 56           | 40 kB      | 32 kB      | 72 kB
category_groups             | 3            | 40 kB      | 32 kB      | 72 kB
push_subscriptions          | 12           | 48 kB      | 16 kB      | 64 kB
tag_groups                  | 10           | 48 kB      | 16 kB      | 64 kB
theme_settings              | 6            | 48 kB      | 16 kB      | 64 kB
ar_internal_metadata        | 1            | 48 kB      | 16 kB      | 64 kB
backup_metadata             | 6            | 48 kB      | 16 kB      | 64 kB
user_fields                 | 9            | 48 kB      | 16 kB      | 64 kB
remote_themes               | 7            | 48 kB      | 16 kB      | 64 kB
badge_groupings             | 5            | 48 kB      | 16 kB      | 64 kB
web_hook_event_types        | 10           | 48 kB      | 16 kB      | 64 kB
user_security_keys          | 0            | 8192 bytes | 56 kB      | 64 kB
color_schemes               | 11           | 48 kB      | 16 kB      | 64 kB
permalinks                  | 0            | 24 kB      | 32 kB      | 56 kB
incoming_emails             | 0            | 8192 bytes | 48 kB      | 56 kB
post_action_types           | 8            | 40 kB      | 16 kB      | 56 kB
web_hook_event_types_hooks  | 1            | 40 kB      | 16 kB      | 56 kB
watched_words               | 0            | 24 kB      | 32 kB      | 56 kB
user_exports                | 0            | 24 kB      | 16 kB      | 40 kB
github_user_infos           | 0            | 8192 bytes | 24 kB      | 32 kB
backup_draft_posts          | 0            | 8192 bytes | 24 kB      | 32 kB
categories_web_hooks        | 0            | 16 kB      | 16 kB      | 32 kB
theme_translation_overrides | 0            | 8192 bytes | 24 kB      | 32 kB
single_sign_on_records      | 0            | 8192 bytes | 24 kB      | 32 kB
post_reply_keys             | 0            | 0 bytes    | 24 kB      | 24 kB
backup_draft_topics         | 0            | 0 bytes    | 24 kB      | 24 kB
user_open_ids               | 0            | 8192 bytes | 16 kB      | 24 kB
post_details                | 0            | 8192 bytes | 16 kB      | 24 kB
message_bus                 | 0            | 8192 bytes | 16 kB      | 24 kB
anonymous_users             | 0            | 0 bytes    | 24 kB      | 24 kB
group_custom_fields         | 0            | 8192 bytes | 16 kB      | 24 kB
topic_invites               | 0            | 0 bytes    | 24 kB      | 24 kB
shared_drafts               | 0            | 0 bytes    | 24 kB      | 24 kB
instagram_user_infos        | 0            | 8192 bytes | 8192 bytes | 16 kB
reviewable_claimed_topics   | 0            | 0 bytes    | 16 kB      | 16 kB
user_field_options          | 0            | 8192 bytes | 8192 bytes | 16 kB
embeddable_hosts            | 0            | 8192 bytes | 8192 bytes | 16 kB
invited_groups              | 0            | 0 bytes    | 8192 bytes | 8192 bytes
developers                  | 0            | 0 bytes    | 8192 bytes | 8192 bytes
tags_web_hooks              | 0            | 0 bytes    | 8192 bytes | 8192 bytes
groups_web_hooks            | 0            | 0 bytes    | 8192 bytes | 8192 bytes
badge_posts                 | 0            | 0 bytes    | 0 bytes    | 0 bytes

（另一方面，/var/discourse/shared/standalone/postgres_data/base 文件夹的大小已超过 47GB）

数据库大小能否通过某种方式 减小？还是说鉴于某些主题的规模，这是合理的？（更多细节见下文）。

另一个问题可能与之相关：我频繁遇到那个著名的提示——「由于负载极高，当前页面将暂时以未登录用户的视角展示给所有人」链接。我在 一篇帖子 中看到，增加 Unicorn 工作进程数可能是一个选项（说实话，我从未动过这个设置，也不确定如何操作，或者在不危及整个安装的情况下是否可行）。顺便提一下，我们确实有不少主题拥有超过 1 万条回复，这是否与数据库大小和性能问题存在关联？（仅供参考，我不确定）。

我在想是否有办法对其进行优化（我找到了这个方案），无论是在当前实例上进行调整，还是采用类似高可用（HA）安装的方式（我不确定 Discourse 是否支持 HA），但我认为自己在缺乏了解的情况下有些操之过急了。非常感激任何帮助。

补充说明：当实例较小时，我曾使用过 交换文件，我相信现在它已被禁用（是否有方法验证这一点？）。

谢谢，并为我的「小白」问题致歉。

[codinghorror (Jeff Atwood)]

那个 post_timings 表简直是个庞然大物。有什么办法可以截断、"缩写"或"汇总"这个表，而不会破坏任何东西吗？@sam

[Iceman]

小更新：尝试调整 Unicorn Runners 的设置，但我不确定是否存在核心与工作进程之间的对应关系，还是像共享 CPU 那样的机制（例如“CPU 百分比 × 秒数”）。对此是否有最佳实践？

另外，我一直在阅读 PostgreSQL 相关资料，以了解如何应对存储容量问题。尽管已有备份，但我仍不确定如果直接进行裁剪操作，应用程序在长期运行中会如何反应。

快速编辑：已移除交换文件，目前正在分析如何处理 10,000 多个主题。借此机会想请教一下，这些主题对整体系统有多大风险？（我推测确实存在一定风险，因为已有相关建议；但如果还有其他需要了解的信息，也希望能学习一下。）

[DiscourseMetrics]

@Iceman

顺便提一下 我们有不少话题的回复数超过 1 万条，这是否意味着数据库大小与性能问题之间存在某种关联？（只是抛砖引玉，不太确定）。

我也有一些回复数超过 1 万条的话题，而且每当网站非常繁忙时，也会时不时看到这条消息。

[codinghorror (Jeff Atwood)]

我强烈建议您不要覆盖 Discourse 的默认设置，该设置会自动关闭回复数超过 10,000 的主题。我们默认启用此设置是有原因的。

此外，post_timings 表数据量过大的问题已在我们的关注范围内 ，我们目前正在 brainstorming 解决方案，甚至可能在当前的 2.5 版本中实施，cc @sam @eviltrout

[Stephen]

@codinghorror

我们默认开启此设置是有原因的。

我觉得需要三重确认，最终的“确定”按钮应显示为“我接受不良后果发生”。

有人能让大型主题帖真正发挥作用吗？

[Paracelsus]

我们大约有 80 个顶级主题持续活跃（最大的一个有 12.8 万篇帖子）。

FórumSCP

偶尔会出现一些 502 错误（可能与这个有关，我不确定），自从我们将 db_shared_buffers 参数调整为大于数据库大小后，一切运行顺利。

[codinghorror (Jeff Atwood)]

@Paracelsus

我们大约有 80 个巨型话题一直在持续更新（其中最大的一个已有 12.8 万条帖子）。

这是一个非常糟糕的主意，你们应该关闭这些话题，转而采用按年度或季节划分的更小型话题。请参阅

The MEGATOPIC: public good, or public menace?

When we founded Discourse in 2013, I had the idea that we’d support topics of any length or size, from 10 replies to 100 to 10,000 to 100,000 or even more! [image] A few years ago we ran into a technical limitation where we send down a list of all the post IDs in the topic when you enter the topic. This starts to cause problems on the client – particularly older smartphones with less memory and CPU power – at around ~10,000 replies, so we created a site setting that automatically closes topic…

[pfaffman (Jay Pfaffman)]

我有个网站，里面有几个超过10万条帖子的巨型话题。我告诉他们这是个错误，但他们坚持要保留。现在他们抱怨性能问题。我希望很快就能把数值改回默认的1万。

不过这也让我学到了一些数据库优化的知识，算是个额外收获吧。

[Paracelsus]

@codinghorror

@Paracelsus

我们大约有 80 个巨型话题一直在持续更新（最大的一个已有 12.8 万条帖子）。

这是一个极其糟糕的主意，你们应该关闭这些话题，转而采用按年度或季节划分的更小话题。参见：

The MEGATOPIC: public good, or public menace?

我明白你的意思，但我也得承认，将话题按年份拆分确实有些棘手，尤其是因为我们有很多围绕人物展开的讨论。

想象一下，一个关于特朗普的通用话题，或者一个关于美国的通用话题。在我们的论坛中，我们有一个关于某位前俱乐部主席的话题，一个关于现任主席的话题，以及为每位足球队员设立的话题。你明白我的意思。将其他话题按季节拆分很容易，但这些却不行。当然，并非完全不可能，但实际操作起来相当不切实际。

[pfaffman (Jay Pfaffman)]

@Paracelsus

想象一个关于特朗普的通用主题，或者一个关于美国的通用主题。

想象一个关于特朗普的通用分类，或者一个关于美国的通用分类。

没人会一口气读完超过 10000 条帖子的主题。事实确实如此。在某些时候，你可以稍作停顿，重新开始。我怀疑这些主题更像聊天而非讨论，而且很少有人会阅读昨天发生的事，更不用说上周、上个月或去年发生的事了。

[codinghorror (Jeff Atwood)]

@Paracelsus

当然，这并非不可能，但相当不切实际。

好吧，但我对此的回答是

……你这是在“出于某种理由”主动选择给自己带来相当大的痛苦。

[pfaffman (Jay Pfaffman)]

这是一个模拟获取帖子分页查询的数据探索器查询：

-- [params]
-- int :topic_id = 107216
-- int :offset = 10000

SELECT "posts"."id" FROM "posts" 
WHERE ("posts"."deleted_at" IS NULL) 
AND "posts"."topic_id" = :topic_id
AND "posts"."post_type" IN (1,2,3) ORDER BY "posts"."sort_order" ASC LIMIT 20 
OFFSET :offset

这是一个普通主题：

Limit  (cost=1911.35..1915.38 rows=1 width=8) 

这是一个巨型主题：

Limit  (cost=37475.88..37550.83 rows=20 width=8)

[Paracelsus]

我相信你们，只是我们的用户已经习惯了这种方式，要达到那个目标还需要一些努力……但这是可行的。

与此相关，我刚才读了 @codinghorror 的帖子 Natural breakpoints or "chapters" for long topics? - #53 by codinghorror

[pfaffman (Jay Pfaffman)]

@Paracelsus

我相信你们，只是我们的用户已经习惯了这种方式，要改变还需要一点努力。

别误会，我做这些工作不是为了说服你们，而是为了说服我那拥有超过 12 万帖子主题的客户，他一直在抱怨性能问题！

我希望这也能帮到你们。祝好运。

[codinghorror (Jeff Atwood)]

非常有帮助！感谢分享！

我们确实有近期的具体计划来优化 post_timings 表，但超级话题在未来很多年里仍将持续带来相当大的困扰。

请记住，这已经是 @tgxworld 大约一年前做了大量工作以减少我们在超级话题上的总体工作量之后的结果，基本上是将这些话题切换到“低功耗模式”，从而让它们造成的伤害 有所减轻。

但别自欺欺人：超级话题仍然会带来 巨大冲击。

[Iceman]

遵循您的建议，同时我努力弄明白其他问题（也承认你们正在处理 post_timings 表），我打算先恢复主题大小的默认设置（顺便为我的愚蠢道个歉，不是吗）。

基于此，我有几个问题，希望能得到您的解答：

1. 一旦设置恢复，那些主题将会被关闭，并创建新主题。但是，这些旧的超大主题对整个网站是否有潜在风险？也就是说，我是否应该将它们“拆分”X 次成更小的主题，还是只要它们不再活跃就没事？

2. 我注意到 @Paracelsus 就用户便利性引发的讨论。因此，我想问是否可能增加一个“自动继续因达到最大主题大小而关闭的主题”的设置。也就是说，当一个超大主题自动关闭时，能否自动创建一个新主题，由同一作者发布，标题相同（末尾可能加个数字），内容仅包含指向前一主题的链接？（同时在前一主题中增加指向新主题的链接。）

我知道这个想法有点复杂，可能并非所有人都需要（所以我将其作为可选设置提出），但对于高流量网站且主题内容重要的情况，或许会很有用。您怎么看？

[codinghorror (Jeff Atwood)]

@Iceman

当一个巨型话题被自动关闭时，是否有可能由同一作者创建一个具有相同标题的新话题？

这就像问：“当人们香烟抽完时，我们是否应该通过自动为他们购买新包装来鼓励他们吸烟？”

@Iceman

然而，这些旧的巨型话题的存在会对整个网站构成危险吗？

除非它们获得大量流量，但如果它们已关闭，我想这种情况应该不会发生吧？先观察情况如何，但首要任务是遏制活跃巨型话题的“失血”问题，所以你们走在正确的道路上

[Paracelsus]

跟进一下……我们正尝试通过将每个大主题拆分为 10,000 帖的片段来处理这些问题。然而，系统似乎不太愿意配合我们的策略：

当我一次性选择至少 8000 篇帖子并将其移动到新主题时，会收到“502 网关错误”（尚未尝试更少的帖子数量）。是否有办法增加容量，或者有其他更好的方法来实现这一目标？@codinghorror @pfaffman

[pfaffman (Jay Pfaffman)]

解决方案是在 Rails 控制台中执行，但我一时想不起具体做法。

类似这样的代码：

old_topic=1
new_topic=2
Posts.where(topic_id: old_topic).where("post_number > 10000 and post_number < 20000").update_all(topic_id: new_topic, post_number=...)

但是……我想你可能需要用循环来生成新的帖子编号。你最好在测试环境（staging site）上先测试你的方案。如果搞砸了，后果会很严重。

如果这还不足以让你弄清楚具体做法，那你可能需要在 Marketplace 频道发帖求助。不过我敢打赌，没人会去看那些旧帖子，所以你可以直接关闭它们，让它们保持原样，甚至直接删除或取消列出，除非你认为它们对 SEO 有价值。