TL0 InstagramとYoutubeのリンク投稿で500エラー

markersocial · 2020 年 11 月 17 日午後 1:53

変なエラーに遭遇しました。

これはテストインスタンスでの発生です（エラーは beta と tests-passed の両方で確認されています）。docker manager 以外のすべてのプラグインをアンインストールし、すべてのテーマコンポーネントを削除してみました。

Stable から Beta、さらに tests-passed へ更新しました。手がかりとして、更新後に通常ユーザーの test アカウントの古い投稿 2 件が、同じドメインへの参照が多すぎるという理由でシステムによってフラグ付けされた可能性があります。

TL0 のアカウントで投稿しようとすると、Twitter と Reddit のワンボックスは問題なく投稿できますが、Instagram と YouTube のリンクは 500 エラーを返します。アカウントの信頼レベルを TL1 に引き上げるとリンクは正常に投稿されます（ただし、再度 TL0 に戻すと 500 エラーが再び発生します）。

また、youtube と instagram を allowed_spam_host_domains に追加すると、TL0 ユーザーの 500 エラーは消えます。

ログ - Info:

NoMethodError (undefined method `title' for nil:NilClass)
lib/post_action_creator.rb:264:in `create_message_creator'
lib/post_action_creator.rb:91:in `perform'
lib/post_action_creator.rb:18:in `create'
app/models/user.rb:1073:in `block in flag_linked_posts_as_spam'
app/models/user.rb:1066:in `flag_linked_posts_as_spam'
lib/new_post_manager.rb:284:in `perform_create_post'
lib/new_post_manager.rb:216:in `perform'
app/controllers/posts_controller.rb:180:in `create'
app/controllers/application_controller.rb:357:in `block in with_resolved_locale'
app/controllers/application_controller.rb:357:in `with_resolved_locale'
lib/middleware/omniauth_bypass_middleware.rb:68:in `call'
lib/content_security_policy/middleware.rb:12:in `call'
lib/middleware/anonymous_cache.rb:354:in `call'
config/initializers/100-quiet_logger.rb:23:in `call'
config/initializers/100-silence_logger.rb:31:in `call'
lib/middleware/enforce_hostname.rb:22:in `call'
lib/middleware/request_tracker.rb:176:in `call'

ログ - Backtrace:

lib/post_action_creator.rb:264:in `create_message_creator'

lib/post_action_creator.rb:91:in `perform'

lib/post_action_creator.rb:18:in `create'

app/models/user.rb:1073:in `block in flag_linked_posts_as_spam'

activerecord (6.0.3.3) lib/active_record/relation/delegation.rb:87:in `each'

activerecord (6.0.3.3) lib/active_record/relation/delegation.rb:87:in `each'

app/models/user.rb:1066:in `flag_linked_posts_as_spam'

lib/new_post_manager.rb:284:in `perform_create_post'

lib/new_post_manager.rb:216:in `perform'

app/controllers/posts_controller.rb:180:in `create'

actionpack (6.0.3.3) lib/action_controller/metal/basic_implicit_render.rb:6:in `send_action'

actionpack (6.0.3.3) lib/abstract_controller/base.rb:195:in `process_action'

actionpack (6.0.3.3) lib/action_controller/metal/rendering.rb:30:in `process_action'

actionpack (6.0.3.3) lib/abstract_controller/callbacks.rb:42:in `block in process_action'

activesupport (6.0.3.3) lib/active_support/callbacks.rb:112:in `block in run_callbacks'

app/controllers/application_controller.rb:357:in `block in with_resolved_locale'

i18n (1.8.5) lib/i18n.rb:313:in `with_locale'

app/controllers/application_controller.rb:357:in `with_resolved_locale'

activesupport (6.0.3.3) lib/active_support/callbacks.rb:121:in `block in run_callbacks'

activesupport (6.0.3.3) lib/active_support/callbacks.rb:139:in `run_callbacks'

actionpack (6.0.3.3) lib/abstract_controller/callbacks.rb:41:in `process_action'

actionpack (6.0.3.3) lib/action_controller/metal/rescue.rb:22:in `process_action'

actionpack (6.0.3.3) lib/action_controller/metal/instrumentation.rb:33:in `block in process_action'

activesupport (6.0.3.3) lib/active_support/notifications.rb:180:in `block in instrument'

activesupport (6.0.3.3) lib/active_support/notifications/instrumenter.rb:24:in `instrument'

activesupport (6.0.3.3) lib/active_support/notifications.rb:180:in `instrument'

actionpack (6.0.3.3) lib/action_controller/metal/instrumentation.rb:32:in `process_action'

actionpack (6.0.3.3) lib/action_controller/metal/params_wrapper.rb:245:in `process_action'

activerecord (6.0.3.3) lib/active_record/railties/controller_runtime.rb:27:in `process_action'

actionpack (6.0.3.3) lib/abstract_controller/base.rb:136:in `process'

actionview (6.0.3.3) lib/action_view/rendering.rb:39:in `process'

rack-mini-profiler (2.2.0) lib/mini_profiler/profiling_methods.rb:85:in `block in profile_method'

actionpack (6.0.3.3) lib/action_controller/metal.rb:190:in `dispatch'

actionpack (6.0.3.3) lib/action_controller/metal.rb:254:in `dispatch'

actionpack (6.0.3.3) lib/action_dispatch/routing/route_set.rb:50:in `dispatch'

actionpack (6.0.3.3) lib/action_dispatch/routing/route_set.rb:33:in `serve'

actionpack (6.0.3.3) lib/action_dispatch/journey/router.rb:49:in `block in serve'

actionpack (6.0.3.3) lib/action_dispatch/journey/router.rb:32:in `each'

actionpack (6.0.3.3) lib/action_dispatch/journey/router.rb:32:in `serve'

actionpack (6.0.3.3) lib/action_dispatch/routing/route_set.rb:834:in `call'

lib/middleware/omniauth_bypass_middleware.rb:68:in `call'

rack (2.2.3) lib/rack/tempfile_reaper.rb:15:in `call'

rack (2.2.3) lib/rack/conditional_get.rb:40:in `call'

rack (2.2.3) lib/rack/head.rb:12:in `call'

lib/content_security_policy/middleware.rb:12:in `call'

lib/middleware/anonymous_cache.rb:354:in `call'

rack (2.2.3) lib/rack/session/abstract/id.rb:266:in `context'

rack (2.2.3) lib/rack/session/abstract/id.rb:260:in `call'

actionpack (6.0.3.3) lib/action_dispatch/middleware/cookies.rb:648:in `call'

actionpack (6.0.3.3) lib/action_dispatch/middleware/callbacks.rb:27:in `block in call'

activesupport (6.0.3.3) lib/active_support/callbacks.rb:101:in `run_callbacks'

actionpack (6.0.3.3) lib/action_dispatch/middleware/callbacks.rb:26:in `call'

actionpack (6.0.3.3) lib/action_dispatch/middleware/actionable_exceptions.rb:17:in `call'

actionpack (6.0.3.3) lib/action_dispatch/middleware/debug_exceptions.rb:32:in `call'

actionpack (6.0.3.3) lib/action_dispatch/middleware/show_exceptions.rb:33:in `call'

logster (2.9.4) lib/logster/middleware/reporter.rb:43:in `call'

railties (6.0.3.3) lib/rails/rack/logger.rb:37:in `call_app'

railties (6.0.3.3) lib/rails/rack/logger.rb:28:in `call'

config/initializers/100-quiet_logger.rb:23:in `call'

config/initializers/100-silence_logger.rb:31:in `call'

actionpack (6.0.3.3) lib/action_dispatch/middleware/remote_ip.rb:81:in `call'

actionpack (6.0.3.3) lib/action_dispatch/middleware/request_id.rb:27:in `call'

lib/middleware/enforce_hostname.rb:22:in `call'

rack (2.2.3) lib/rack/method_override.rb:24:in `call'

actionpack (6.0.3.3) lib/action_dispatch/middleware/executor.rb:14:in `call'

rack (2.2.3) lib/rack/sendfile.rb:110:in `call'

actionpack (6.0.3.3) lib/action_dispatch/middleware/host_authorization.rb:76:in `call'

rack-mini-profiler (2.2.0) lib/mini_profiler/profiler.rb:246:in `call'

message_bus (3.3.4) lib/message_bus/rack/middleware.rb:61:in `call'

lib/middleware/request_tracker.rb:176:in `call'

railties (6.0.3.3) lib/rails/engine.rb:527:in `call'

railties (6.0.3.3) lib/rails/railtie.rb:190:in `public_send'

railties (6.0.3.3) lib/rails/railtie.rb:190:in `method_missing'

rack (2.2.3) lib/rack/urlmap.rb:74:in `block in call'

rack (2.2.3) lib/rack/urlmap.rb:58:in `each'

rack (2.2.3) lib/rack/urlmap.rb:58:in `call'

unicorn (5.7.0) lib/unicorn/http_server.rb:632:in `process_client'

unicorn (5.7.0) lib/unicorn/http_server.rb:728:in `worker_loop'

unicorn (5.7.0) lib/unicorn/http_server.rb:548:in `spawn_missing_workers'

unicorn (5.7.0) lib/unicorn/http_server.rb:144:in `start'

unicorn (5.7.0) bin/unicorn:128:in `<top (required)>'

vendor/bundle/ruby/2.6.0/bin/unicorn:23:in `load'

vendor/bundle/ruby/2.6.0/bin/unicorn:23:in `<main>'

techAPJ · 2020 年 11 月 19 日午後 5:41

最新の Discourse バージョンでは、この現象を再現できませんでした。

Discourse インスタンスを最新バージョンに更新し、セーフモードでテストしてみてください。もし問題が解消しない場合は、関連する設定が変更されていないか確認してください。

markersocial · 2020 年 11 月 22 日午後 3:51

@techAPJ さん、ご回答ありがとうございます。これは、新規ユーザーが「newuser spam host threshold」を超えて同じドメインへのリンクを投稿し、かつそのドメインが「allowed spam host domains」に含まれていないことによるものだと考えています。

特定のホストに限定された問題ではなく、TL0 のユーザーが同じホストにリンクを投稿しすぎた場合に発生するようです。また、特定のドメイン（Instagram や YouTube など）に限定された問題でもないようです。

プラグイン（Docker Manager 以外なし）やテンプレートなしで最新バージョンの Discourse（テストパス済みの 2.6.0beta6）に更新し、テストインスタンス（TL0 の一般ユーザー使用）で以下の動作を確認しました。

「newuser spam host threshold」を 1 増加させると、ユーザーは同じドメインへのリンク（500 エラーを返すもの）を 1 回だけ追加で投稿できます。その次の投稿では 500 エラーが発生します。これは再現可能です。
ドメインを「allowed spam host domains」に追加すると、ユーザーはエラーなくそのドメインの URL を自由に投稿し続けることができます。
ユーザーの信頼レベルを 1 に引き上げると、ユーザーはエラーなくそのドメインの URL を投稿し続けることができます。

上記の情報で再現できない場合はお知らせください。その場合はセーフモードでのテストに取り掛かります。

techAPJ · 2021 年 4 月 29 日午後 4:28

詳しく調査しましたが、これはバグではなく、設計通りの動作のようです。

新規ユーザーは同じホストへのリンクを多数投稿することが許可されていません。ただし、管理者が newuser_spam_host_threshold や allowed_spam_host_domains というサイト設定を調整することで、この動作を上書きすることは可能です。

これは、繰り返しリンクが原因で投稿がブロックされた際に送信されるスタッフメッセージにも反映されています。

github.com/discourse/discourse

config/locales/server.en.yml

cd93d1b5f


      
          subject_template: "New user %{username} posts blocked due to repeated links"
          text_body_template: |
            This is an automated message.
          
            The new user [%{username}](%{user_url}) tried to create multiple posts with links to %{domains}, but those posts were blocked to avoid spam. The user is still able to create new posts that do not link to %{domains}.
          
            Please [review the user](%{user_url}).
          
            This can be modified via the `newuser_spam_host_threshold` and `allowed_spam_host_domains` site settings. Consider adding %{domains} to the allowlist if they should be exempt.

techAPJ · 2021 年 4 月 30 日午後 4:28

このトピックは23時間後に自動的に閉鎖されました。新しい返信は受け付けられていません。

トピック		返信	表示
White_listed_spam_host_domains setting not being honoured for New Users? UX	11	1142	2019 年 10 月 25 日
User can't post: 500 internal server error Support	12	1402	2018 年 4 月 18 日
500 Error While Posting a Topic Bug	16	875	2020 年 8 月 6 日
I get "500 error" error while editing post Self-hosting	15	1060	2026 年 3 月 17 日
Link to own domain results in "Internal Server Error" Support	6	861	2019 年 10 月 18 日

TL0 InstagramとYoutubeのリンク投稿で500エラー

関連トピック