Ошибки отправки дайджеста после обновления (NoMethodError)

Ed_S · 02.Ноябрь.2020 18:06:17

Сегодня днем обновился до версии 2.6.0.beta5 (7fa6aca9db), и панель управления сообщает о неудачных задачах:

Не удалось выполнить 3 почтовые задачи. Проверьте файл app.yml и убедитесь, что настройки почтового сервера верны. Посмотреть неудачные задачи в Sidekiq.

Я не вижу, чтобы какие-либо письма (*) были отправлены, а в Sidekiq есть задачи в статусе «повторная попытка»:

Jobs::UserEmail	
{"type"=>"digest", "user_id"=>206, "current_site_id"=>"default"}
Jobs::HandledExceptionWrapper: Wrapped NoMethodError: undefined method `value' for nil:NilClass

Я попытался протестировать отправку письма через функцию «Предпросмотр сводки», но это привело к ошибке:

Ошибка сервера
при попытке загрузки /admin/email/preview-digest.json
Код ошибки: 500

Мой файл app.yml не менялся. Я использую Mailgun, и до обновления всё работало нормально.

(*) Редакция: некоторые 12 сводок были отправлены, но «Не удалось выполнить 265 почтовых задач». Очевидно, что ошибка зависит от содержимого сводки.

justin · 02.Ноябрь.2020 18:07:24

Установлены ли у вас сторонние плагины?

Ed_S · 02.Ноябрь.2020 18:11:19

Нет: единственное расширение — discourse-data-explorer.

Ed_S · 02.Ноябрь.2020 18:40:46

Похоже, какое-то значение данных равно nil или пустое, хотя не должно быть так — или это не должно иметь значения. Вот два трассировки из логов: один для предпросмотра, другой для задания Sidekiq, как я понимаю:

/var/www/discourse/lib/pretty_text.rb:440:in `block in strip_secure_media'
nokogiri-1.10.10/lib/nokogiri/xml/node_set.rb:238:in `block in each'
nokogiri-1.10.10/lib/nokogiri/xml/node_set.rb:237:in `upto'
nokogiri-1.10.10/lib/nokogiri/xml/node_set.rb:237:in `each'
/var/www/discourse/lib/pretty_text.rb:434:in `strip_secure_media'
/var/www/discourse/lib/email/styles.rb:347:in `replace_secure_media_urls'
/var/www/discourse/lib/email/styles.rb:281:in `to_html'
/var/www/discourse/lib/email/renderer.rb:31:in `html'
/var/www/discourse/lib/email/sender.rb:70:in `send'
/var/www/discourse/app/jobs/regular/user_email.rb:70:in `send_user_email'
/var/www/discourse/app/jobs/regular/user_email.rb:25:in `execute'
/var/www/discourse/app/jobs/base.rb:232:in `block (2 levels) in perform'
rails_multisite-2.5.0/lib/rails_multisite/connection_management.rb:76:in `with_connection'
/var/www/discourse/app/jobs/base.rb:221:in `block in perform'
/var/www/discourse/app/jobs/base.rb:217:in `each'
/var/www/discourse/app/jobs/base.rb:217:in `perform'
sidekiq-6.1.2/lib/sidekiq/processor.rb:196:in `execute_job'
sidekiq-6.1.2/lib/sidekiq/processor.rb:164:in `block (2 levels) in process'
sidekiq-6.1.2/lib/sidekiq/middleware/chain.rb:138:in `block in invoke'
/var/www/discourse/lib/sidekiq/pausable.rb:138:in `call'
sidekiq-6.1.2/lib/sidekiq/middleware/chain.rb:140:in `block in invoke'
sidekiq-6.1.2/lib/sidekiq/middleware/chain.rb:143:in `invoke'
sidekiq-6.1.2/lib/sidekiq/processor.rb:163:in `block in process'
sidekiq-6.1.2/lib/sidekiq/processor.rb:136:in `block (6 levels) in dispatch'
sidekiq-6.1.2/lib/sidekiq/job_retry.rb:111:in `local'
sidekiq-6.1.2/lib/sidekiq/processor.rb:135:in `block (5 levels) in dispatch'
sidekiq-6.1.2/lib/sidekiq.rb:38:in `block in <module:Sidekiq>'
sidekiq-6.1.2/lib/sidekiq/processor.rb:131:in `block (4 levels) in dispatch'
sidekiq-6.1.2/lib/sidekiq/processor.rb:257:in `stats'
sidekiq-6.1.2/lib/sidekiq/processor.rb:126:in `block (3 levels) in dispatch'
sidekiq-6.1.2/lib/sidekiq/job_logger.rb:13:in `call'
sidekiq-6.1.2/lib/sidekiq/processor.rb:125:in `block (2 levels) in dispatch'
sidekiq-6.1.2/lib/sidekiq/job_retry.rb:78:in `global'
sidekiq-6.1.2/lib/sidekiq/processor.rb:124:in `block in dispatch'
sidekiq-6.1.2/lib/sidekiq/logger.rb:10:in `with'
sidekiq-6.1.2/lib/sidekiq/job_logger.rb:33:in `prepare'
sidekiq-6.1.2/lib/sidekiq/processor.rb:123:in `dispatch'
sidekiq-6.1.2/lib/sidekiq/processor.rb:162:in `process'
sidekiq-6.1.2/lib/sidekiq/processor.rb:78:in `process_one'
sidekiq-6.1.2/lib/sidekiq/processor.rb:68:in `run'
sidekiq-6.1.2/lib/sidekiq/util.rb:15:in `watchdog'
sidekiq-6.1.2/lib/sidekiq/util.rb:24:in `block in safe_thread'

и

lib/pretty_text.rb:440:in `block in strip_secure_media'
nokogiri (1.10.10) lib/nokogiri/xml/node_set.rb:238:in `block in each'
nokogiri (1.10.10) lib/nokogiri/xml/node_set.rb:237:in `upto'
nokogiri (1.10.10) lib/nokogiri/xml/node_set.rb:237:in `each'
lib/pretty_text.rb:434:in `strip_secure_media'
lib/email/styles.rb:347:in `replace_secure_media_urls'
lib/email/styles.rb:281:in `to_html'
lib/email/renderer.rb:31:in `html'
app/controllers/admin/email_controller.rb:93:in `preview_digest'
actionpack (6.0.3.3) lib/action_controller/metal/basic_implicit_render.rb:6:in `send_action'
actionpack (6.0.3.3) lib/abstract_controller/base.rb:195:in `process_action'
actionpack (6.0.3.3) lib/action_controller/metal/rendering.rb:30:in `process_action'
actionpack (6.0.3.3) lib/abstract_controller/callbacks.rb:42:in `block in process_action'
activesupport (6.0.3.3) lib/active_support/callbacks.rb:112:in `block in run_callbacks'
app/controllers/application_controller.rb:357:in `block in with_resolved_locale'
i18n (1.8.5) lib/i18n.rb:313:in `with_locale'
app/controllers/application_controller.rb:357:in `with_resolved_locale'
activesupport (6.0.3.3) lib/active_support/callbacks.rb:121:in `block in run_callbacks'
activesupport (6.0.3.3) lib/active_support/callbacks.rb:139:in `run_callbacks'
actionpack (6.0.3.3) lib/abstract_controller/callbacks.rb:41:in `process_action'
actionpack (6.0.3.3) lib/action_controller/metal/rescue.rb:22:in `process_action'
actionpack (6.0.3.3) lib/action_controller/metal/instrumentation.rb:33:in `block in process_action'
activesupport (6.0.3.3) lib/active_support/notifications.rb:180:in `block in instrument'
activesupport (6.0.3.3) lib/active_support/notifications/instrumenter.rb:24:in `instrument'
activesupport (6.0.3.3) lib/active_support/notifications.rb:180:in `instrument'
actionpack (6.0.3.3) lib/action_controller/metal/instrumentation.rb:32:in `process_action'
actionpack (6.0.3.3) lib/action_controller/metal/params_wrapper.rb:245:in `process_action'
activerecord (6.0.3.3) lib/active_record/railties/controller_runtime.rb:27:in `process_action'
actionpack (6.0.3.3) lib/abstract_controller/base.rb:136:in `process'
actionview (6.0.3.3) lib/action_view/rendering.rb:39:in `process'
rack-mini-profiler (2.2.0) lib/mini_profiler/profiling_methods.rb:111:in `block in profile_method'
actionpack (6.0.3.3) lib/action_controller/metal.rb:190:in `dispatch'
actionpack (6.0.3.3) lib/action_controller/metal.rb:254:in `dispatch'
actionpack (6.0.3.3) lib/action_dispatch/routing/route_set.rb:50:in `dispatch'
actionpack (6.0.3.3) lib/action_dispatch/routing/route_set.rb:33:in `serve'
actionpack (6.0.3.3) lib/action_dispatch/routing/mapper.rb:18:in `block in <class:Constraints>'
actionpack (6.0.3.3) lib/action_dispatch/routing/mapper.rb:48:in `serve'
actionpack (6.0.3.3) lib/action_dispatch/journey/router.rb:49:in `block in serve'
actionpack (6.0.3.3) lib/action_dispatch/journey/router.rb:32:in `each'
actionpack (6.0.3.3) lib/action_dispatch/journey/router.rb:32:in `serve'
actionpack (6.0.3.3) lib/action_dispatch/routing/route_set.rb:834:in `call'
lib/middleware/omniauth_bypass_middleware.rb:68:in `call'
rack (2.2.3) lib/rack/tempfile_reaper.rb:15:in `call'
rack (2.2.3) lib/rack/conditional_get.rb:27:in `call'
rack (2.2.3) lib/rack/head.rb:12:in `call'
lib/content_security_policy/middleware.rb:12:in `call'
lib/middleware/anonymous_cache.rb:354:in `call'
rack (2.2.3) lib/rack/session/abstract/id.rb:266:in `context'
rack (2.2.3) lib/rack/session/abstract/id.rb:260:in `call'
actionpack (6.0.3.3) lib/action_dispatch/middleware/cookies.rb:648:in `call'
actionpack (6.0.3.3) lib/action_dispatch/middleware/callbacks.rb:27:in `block in call'
activesupport (6.0.3.3) lib/active_support/callbacks.rb:101:in `run_callbacks'
actionpack (6.0.3.3) lib/action_dispatch/middleware/callbacks.rb:26:in `call'
actionpack (6.0.3.3) lib/action_dispatch/middleware/actionable_exceptions.rb:17:in `call'
actionpack (6.0.3.3) lib/action_dispatch/middleware/debug_exceptions.rb:32:in `call'
actionpack (6.0.3.3) lib/action_dispatch/middleware/show_exceptions.rb:33:in `call'
logster (2.9.4) lib/logster/middleware/reporter.rb:43:in `call'
railties (6.0.3.3) lib/rails/rack/logger.rb:37:in `call_app'
railties (6.0.3.3) lib/rails/rack/logger.rb:28:in `call'
config/initializers/100-quiet_logger.rb:23:in `call'
config/initializers/100-silence_logger.rb:31:in `call'
actionpack (6.0.3.3) lib/action_dispatch/middleware/remote_ip.rb:81:in `call'
actionpack (6.0.3.3) lib/action_dispatch/middleware/request_id.rb:27:in `call'
lib/middleware/enforce_hostname.rb:22:in `call'
rack (2.2.3) lib/rack/method_override.rb:24:in `call'
actionpack (6.0.3.3) lib/action_dispatch/middleware/executor.rb:14:in `call'
rack (2.2.3) lib/rack/sendfile.rb:110:in `call'
actionpack (6.0.3.3) lib/action_dispatch/middleware/host_authorization.rb:76:in `call'
rack-mini-profiler (2.2.0) lib/mini_profiler/profiler.rb:368:in `call'
message_bus (3.3.4) lib/message_bus/rack/middleware.rb:61:in `call'
lib/middleware/request_tracker.rb:176:in `call'
railties (6.0.3.3) lib/rails/engine.rb:527:in `call'
railties (6.0.3.3) lib/rails/railtie.rb:190:in `public_send'
railties (6.0.3.3) lib/rails/railtie.rb:190:in `method_missing'
rack (2.2.3) lib/rack/urlmap.rb:74:in `block in call'
rack (2.2.3) lib/rack/urlmap.rb:58:in `each'
rack (2.2.3) lib/rack/urlmap.rb:58:in `call'
unicorn (5.7.0) lib/unicorn/http_server.rb:632:in `process_client'
unicorn (5.7.0) lib/unicorn/http_server.rb:728:in `worker_loop'
unicorn (5.7.0) lib/unicorn/http_server.rb:548:in `spawn_missing_workers'
unicorn (5.7.0) lib/unicorn/http_server.rb:144:in `start'
unicorn (5.7.0) bin/unicorn:128:in `<top (required)>'
vendor/bundle/ruby/2.6.0/bin/unicorn:23:in `load'
vendor/bundle/ruby/2.6.0/bin/unicorn:23:in `<main>'

Falco · 02.Ноябрь.2020 19:00:03

Включена ли у вас опция secure media в настройках сайта?

Ed_S · 02.Ноябрь.2020 19:02:29

Нет, secure media отключено (что является настройкой по умолчанию).

К сведению, я вижу, что включена опция secure media allow embed images in emails, но это также настройка по умолчанию.

Falco · 02.Ноябрь.2020 19:06:46

github.com/discourse/discourse

lib/email/styles.rb

d824a5edd


      
                  <img src="#{url}" data-embedded-secure-image="true" style="#{style}" />
                HTML
                div.remove
              end
            end
          end
          
          def to_html
            # needs to be before class + id strip because we need to style redacted
            # media and also not double-redact already redacted from lower levels
            replace_secure_media_urls
            strip_classes_and_ids
            replace_relative_urls
          
            @fragment.to_html
          end
          
          def to_s
            @fragment.to_s
          end

@martin почему мы вызываем replace_secure_media_urls без условий? Можно ли добавить проверку на secure media?

Ed_S · 02.Ноябрь.2020 22:25:43

Обратите внимание: моё обновление не прошло при запуске из браузера, поэтому я выполнил пересборку через командную строку.

(На случай, если это означает, что данная установка каким-то образом оказалась в ином состоянии по сравнению с той, которая была успешно обновлена. У меня есть ещё один форум на другом хостинге, который был успешно обновлён и не испытывает проблем с отправкой писем или подготовкой предпросмотра сводки.)

Ed_S · 02.Ноябрь.2020 22:41:11

Как я сообщал ранее, 19-го числа, с тех пор мы наблюдаем появление нового явления.

Вот строка из трассировки стека: attributes["srcset"] — возможно, это нововведение? Или, во всяком случае, value отсутствует.

github.com/discourse/discourse

lib/pretty_text.rb

3655062c6


      
            end
          end
          
          # images by themselves or inside a onebox
          doc.css('img[src]').each do |img|
            url = if img.parent.classes.include?("aspect-image")
          
              # we are using the first image from the srcset here so we get the
              # optimized image instead of the original, because an optimized
              # image may be used for the onebox thumbnail
              srcset = img.attributes["srcset"].value
              srcset.split(",").first
            else
              img['src']
            end
          
            width = img.classes.include?('site-icon') ? 16 : img['width']
            height = img.classes.include?('site-icon') ? 16 : img['height']
            oneboxed = (img.parent&.parent&.classes || []).include?('onebox-body')
          
            if Upload.secure_media_url?(url)

Коммит от вчерашнего дня, возможно, объясняет, почему ещё не многие сталкиваются с этим.

github.com/discourse/discourse

FIX: Ensure oneboxed secure images which are optimized and also lightboxed optimized images are embedded in email (#11061)

committed 11:52PM - 01 Nov 20 UTC

martin-brennan

+152 -32

We had an issue where onebox thumbnail was too large and thus was optimized, and… we are using the image URLs in post to redact and re-embed, based on the sha1 in the URL. Optimized image URLs have extra stuff on the end like _99x99 so we were not parsing out the sha1 correctly. Another issue I found was for posts that have giant images, the original was being used to embed in the email and thus would basically never get included because it is huge. For example the URL http://localhost:3000/secure-media-uploads/optimized/2X/7/787b17ea6140f4f022eb7f1509a692f2873cfe35_2_690x335.jpeg was not parsed correctly; we would end up with 787b17ea6140f4f022eb7f1509a692f2873cfe35_2_690x335.jpeg as the sha1 which would not find the image to re-embed that was already attached to the email. This fix will use the first optimized image of the detected upload when we are redacting and then re-embedding to make sure we are not sending giant things in email. Also, I detect if it is a onebox thumbnail or the site icon and force appropriate sizes and styles.

Saiano · 03.Ноябрь.2020 08:11:57

Та же проблема, что мне делать?

Ed_S · 03.Ноябрь.2020 09:12:01

Я надеюсь, что @martin (или кто-то ещё) отменит одно из изменений, упомянутых выше, или добавит проверку, как предлагает @Falco.

merefield · 03.Ноябрь.2020 10:58:44

У меня та же проблема.

AstonJ · 03.Ноябрь.2020 11:44:07

Та же проблема и у меня..

Ed_S · 03.Ноябрь.2020 12:56:01

Интересно, может ли это быть обходным решением: если проблема заключается в обработке (некоторых) изображений в дайджест-рассылках, и если мы готовы временно отправлять дайджесты без изображений, мы можем установить параметр «короткая длина письма» на очень большое значение, чтобы «удаление изображений из коротких писем» удаляло все изображения.

Редактирование: нет, я попробовал, и задания Sidekiq всё равно накапливаются. Во время эксперимента ни одно письмо не было отправлено, несмотря на многократные перезапуски множества заданий.

Falco · 03.Ноябрь.2020 14:51:15

Открыт PR с предлагаемым исправлением

GuidoD · 03.Ноябрь.2020 15:17:01

Та же проблема здесь, надеюсь, что PR будет реализован скоро.

ezworldwide · 03.Ноябрь.2020 17:16:39

Можно подтвердить… У меня та же проблема.

Falco · 03.Ноябрь.2020 17:24:02

PR слит в актуальную ветку, пожалуйста, обновитесь и отчитайтесь.

Ed_S · 03.Ноябрь.2020 17:32:34

Теперь у меня работает, спасибо!

merefield · 03.Ноябрь.2020 18:50:37

Пока всё отлично, большое спасибо.

Тема		Ответов	Просм.
Failing to send emails, undefined method with_secure_media Support	3	641	05.01.2020
NoMethodError: undefined method `should_secure_uploads? - latest updates Support	4	230	15.05.2024
Lots of retries mail in sidekiq after upgrade discourse to 3.5.0.beta8-dev( 4893bda14a ) Support	1	58	09.07.2025
Sidekiq email error: no implicit conversion of nil into String Bug	23	6675	02.05.2016
Severe Email Issue since last update a couple days ago - 3.4.0.beta4-dev Support	25	489	16.02.2025

Ошибки отправки дайджеста после обновления (NoMethodError)

Связанные темы