Fallos en el envío de resúmenes desde la actualización (NoMethodError)

Ed_S · 2 Noviembre, 2020 18:06

Actualicé a la versión 2.6.0.beta5 (7fa6aca9db) esta tarde, y mi panel de control me alerta sobre trabajos fallidos:

Hay 3 trabajos de correo electrónico que fallaron. Revisa tu archivo app.yml y asegúrate de que la configuración del servidor de correo sea correcta. Ver los trabajos fallidos en Sidekiq.

No he visto que se haya enviado ningún correo electrónico (*), y tengo trabajos de Sidekiq en estado de reintento:

Jobs::UserEmail	
{"type"=>"digest", "user_id"=>206, "current_site_id"=>"default"}
Jobs::HandledExceptionWrapper: Wrapped NoMethodError: undefined method `value' for nil:NilClass

Intenté probar el correo electrónico usando la vista previa del resumen y eso arrojó un error:

Error del servidor
al intentar cargar /admin/email/preview-digest.json
Código de error: 500 error

Mi archivo app.yml no ha cambiado. Uso Mailgun y todo funcionaba bien antes de la actualización.

(*) Edición: se enviaron unos 12 resúmenes, pero “Hay 265 trabajos de correo electrónico que fallaron”. Evidentemente, el fallo es sensible al contenido del resumen.

justin · 2 Noviembre, 2020 18:07

¿Tienes instalados plugins de terceros?

Ed_S · 2 Noviembre, 2020 18:11

No: el único complemento es discourse-data-explorer.

Ed_S · 2 Noviembre, 2020 18:40

Creo que algún valor de datos parece ser nil o estar vacío cuando no debería serlo, o quizás no debería importar. Dos trazas de los registros, una para la vista previa y otra para el trabajo de Sidekiq, creo que:

/var/www/discourse/lib/pretty_text.rb:440:in `block in strip_secure_media'
nokogiri-1.10.10/lib/nokogiri/xml/node_set.rb:238:in `block in each'
nokogiri-1.10.10/lib/nokogiri/xml/node_set.rb:237:in `upto'
nokogiri-1.10.10/lib/nokogiri/xml/node_set.rb:237:in `each'
/var/www/discourse/lib/pretty_text.rb:434:in `strip_secure_media'
/var/www/discourse/lib/email/styles.rb:347:in `replace_secure_media_urls'
/var/www/discourse/lib/email/styles.rb:281:in `to_html'
/var/www/discourse/lib/email/renderer.rb:31:in `html'
/var/www/discourse/lib/email/sender.rb:70:in `send'
/var/www/discourse/app/jobs/regular/user_email.rb:70:in `send_user_email'
/var/www/discourse/app/jobs/regular/user_email.rb:25:in `execute'
/var/www/discourse/app/jobs/base.rb:232:in `block (2 levels) in perform'
rails_multisite-2.5.0/lib/rails_multisite/connection_management.rb:76:in `with_connection'
/var/www/discourse/app/jobs/base.rb:221:in `block in perform'
/var/www/discourse/app/jobs/base.rb:217:in `each'
/var/www/discourse/app/jobs/base.rb:217:in `perform'
sidekiq-6.1.2/lib/sidekiq/processor.rb:196:in `execute_job'
sidekiq-6.1.2/lib/sidekiq/processor.rb:164:in `block (2 levels) in process'
sidekiq-6.1.2/lib/sidekiq/middleware/chain.rb:138:in `block in invoke'
/var/www/discourse/lib/sidekiq/pausable.rb:138:in `call'
sidekiq-6.1.2/lib/sidekiq/middleware/chain.rb:140:in `block in invoke'
sidekiq-6.1.2/lib/sidekiq/middleware/chain.rb:143:in `invoke'
sidekiq-6.1.2/lib/sidekiq/processor.rb:163:in `block in process'
sidekiq-6.1.2/lib/sidekiq/processor.rb:136:in `block (6 levels) in dispatch'
sidekiq-6.1.2/lib/sidekiq/job_retry.rb:111:in `local'
sidekiq-6.1.2/lib/sidekiq/processor.rb:135:in `block (5 levels) in dispatch'
sidekiq-6.1.2/lib/sidekiq.rb:38:in `block in <module:Sidekiq>'
sidekiq-6.1.2/lib/sidekiq/processor.rb:131:in `block (4 levels) in dispatch'
sidekiq-6.1.2/lib/sidekiq/processor.rb:257:in `stats'
sidekiq-6.1.2/lib/sidekiq/processor.rb:126:in `block (3 levels) in dispatch'
sidekiq-6.1.2/lib/sidekiq/job_logger.rb:13:in `call'
sidekiq-6.1.2/lib/sidekiq/processor.rb:125:in `block (2 levels) in dispatch'
sidekiq-6.1.2/lib/sidekiq/job_retry.rb:78:in `global'
sidekiq-6.1.2/lib/sidekiq/processor.rb:124:in `block in dispatch'
sidekiq-6.1.2/lib/sidekiq/logger.rb:10:in `with'
sidekiq-6.1.2/lib/sidekiq/job_logger.rb:33:in `prepare'
sidekiq-6.1.2/lib/sidekiq/processor.rb:123:in `dispatch'
sidekiq-6.1.2/lib/sidekiq/processor.rb:162:in `process'
sidekiq-6.1.2/lib/sidekiq/processor.rb:78:in `process_one'
sidekiq-6.1.2/lib/sidekiq/processor.rb:68:in `run'
sidekiq-6.1.2/lib/sidekiq/util.rb:15:in `watchdog'
sidekiq-6.1.2/lib/sidekiq/util.rb:24:in `block in safe_thread'

y

lib/pretty_text.rb:440:in `block in strip_secure_media'
nokogiri (1.10.10) lib/nokogiri/xml/node_set.rb:238:in `block in each'
nokogiri (1.10.10) lib/nokogiri/xml/node_set.rb:237:in `upto'
nokogiri (1.10.10) lib/nokogiri/xml/node_set.rb:237:in `each'
lib/pretty_text.rb:434:in `strip_secure_media'
lib/email/styles.rb:347:in `replace_secure_media_urls'
lib/email/styles.rb:281:in `to_html'
lib/email/renderer.rb:31:in `html'
app/controllers/admin/email_controller.rb:93:in `preview_digest'
actionpack (6.0.3.3) lib/action_controller/metal/basic_implicit_render.rb:6:in `send_action'
actionpack (6.0.3.3) lib/abstract_controller/base.rb:195:in `process_action'
actionpack (6.0.3.3) lib/action_controller/metal/rendering.rb:30:in `process_action'
actionpack (6.0.3.3) lib/abstract_controller/callbacks.rb:42:in `block in process_action'
activesupport (6.0.3.3) lib/active_support/callbacks.rb:112:in `block in run_callbacks'
app/controllers/application_controller.rb:357:in `block in with_resolved_locale'
i18n (1.8.5) lib/i18n.rb:313:in `with_locale'
app/controllers/application_controller.rb:357:in `with_resolved_locale'
activesupport (6.0.3.3) lib/active_support/callbacks.rb:121:in `block in run_callbacks'
activesupport (6.0.3.3) lib/active_support/callbacks.rb:139:in `run_callbacks'
actionpack (6.0.3.3) lib/abstract_controller/callbacks.rb:41:in `process_action'
actionpack (6.0.3.3) lib/action_controller/metal/rescue.rb:22:in `process_action'
actionpack (6.0.3.3) lib/action_controller/metal/instrumentation.rb:33:in `block in process_action'
activesupport (6.0.3.3) lib/active_support/notifications.rb:180:in `block in instrument'
activesupport (6.0.3.3) lib/active_support/notifications/instrumenter.rb:24:in `instrument'
activesupport (6.0.3.3) lib/active_support/notifications.rb:180:in `instrument'
actionpack (6.0.3.3) lib/action_controller/metal/instrumentation.rb:32:in `process_action'
actionpack (6.0.3.3) lib/action_controller/metal/params_wrapper.rb:245:in `process_action'
activerecord (6.0.3.3) lib/active_record/railties/controller_runtime.rb:27:in `process_action'
actionpack (6.0.3.3) lib/abstract_controller/base.rb:136:in `process'
actionview (6.0.3.3) lib/action_view/rendering.rb:39:in `process'
rack-mini-profiler (2.2.0) lib/mini_profiler/profiling_methods.rb:111:in `block in profile_method'
actionpack (6.0.3.3) lib/action_controller/metal.rb:190:in `dispatch'
actionpack (6.0.3.3) lib/action_controller/metal.rb:254:in `dispatch'
actionpack (6.0.3.3) lib/action_dispatch/routing/route_set.rb:50:in `dispatch'
actionpack (6.0.3.3) lib/action_dispatch/routing/route_set.rb:33:in `serve'
actionpack (6.0.3.3) lib/action_dispatch/routing/mapper.rb:18:in `block in <class:Constraints>'
actionpack (6.0.3.3) lib/action_dispatch/routing/mapper.rb:48:in `serve'
actionpack (6.0.3.3) lib/action_dispatch/journey/router.rb:49:in `block in serve'
actionpack (6.0.3.3) lib/action_dispatch/journey/router.rb:32:in `each'
actionpack (6.0.3.3) lib/action_dispatch/journey/router.rb:32:in `serve'
actionpack (6.0.3.3) lib/action_dispatch/routing/route_set.rb:834:in `call'
lib/middleware/omniauth_bypass_middleware.rb:68:in `call'
rack (2.2.3) lib/rack/tempfile_reaper.rb:15:in `call'
rack (2.2.3) lib/rack/conditional_get.rb:27:in `call'
rack (2.2.3) lib/rack/head.rb:12:in `call'
lib/content_security_policy/middleware.rb:12:in `call'
lib/middleware/anonymous_cache.rb:354:in `call'
rack (2.2.3) lib/rack/session/abstract/id.rb:266:in `context'
rack (2.2.3) lib/rack/session/abstract/id.rb:260:in `call'
actionpack (6.0.3.3) lib/action_dispatch/middleware/cookies.rb:648:in `call'
actionpack (6.0.3.3) lib/action_dispatch/middleware/callbacks.rb:27:in `block in call'
activesupport (6.0.3.3) lib/active_support/callbacks.rb:101:in `run_callbacks'
actionpack (6.0.3.3) lib/action_dispatch/middleware/callbacks.rb:26:in `call'
actionpack (6.0.3.3) lib/action_dispatch/middleware/actionable_exceptions.rb:17:in `call'
actionpack (6.0.3.3) lib/action_dispatch/middleware/debug_exceptions.rb:32:in `call'
actionpack (6.0.3.3) lib/action_dispatch/middleware/show_exceptions.rb:33:in `call'
logster (2.9.4) lib/logster/middleware/reporter.rb:43:in `call'
railties (6.0.3.3) lib/rails/rack/logger.rb:37:in `call_app'
railties (6.0.3.3) lib/rails/rack/logger.rb:28:in `call'
config/initializers/100-quiet_logger.rb:23:in `call'
config/initializers/100-silence_logger.rb:31:in `call'
actionpack (6.0.3.3) lib/action_dispatch/middleware/remote_ip.rb:81:in `call'
actionpack (6.0.3.3) lib/action_dispatch/middleware/request_id.rb:27:in `call'
lib/middleware/enforce_hostname.rb:22:in `call'
rack (2.2.3) lib/rack/method_override.rb:24:in `call'
actionpack (6.0.3.3) lib/action_dispatch/middleware/executor.rb:14:in `call'
rack (2.2.3) lib/rack/sendfile.rb:110:in `call'
actionpack (6.0.3.3) lib/action_dispatch/middleware/host_authorization.rb:76:in `call'
rack-mini-profiler (2.2.0) lib/mini_profiler/profiler.rb:368:in `call'
message_bus (3.3.4) lib/message_bus/rack/middleware.rb:61:in `call'
lib/middleware/request_tracker.rb:176:in `call'
railties (6.0.3.3) lib/rails/engine.rb:527:in `call'
railties (6.0.3.3) lib/rails/railtie.rb:190:in `public_send'
railties (6.0.3.3) lib/rails/railtie.rb:190:in `method_missing'
rack (2.2.3) lib/rack/urlmap.rb:74:in `block in call'
rack (2.2.3) lib/rack/urlmap.rb:58:in `each'
rack (2.2.3) lib/rack/urlmap.rb:58:in `call'
unicorn (5.7.0) lib/unicorn/http_server.rb:632:in `process_client'
unicorn (5.7.0) lib/unicorn/http_server.rb:728:in `worker_loop'
unicorn (5.7.0) lib/unicorn/http_server.rb:548:in `spawn_missing_workers'
unicorn (5.7.0) lib/unicorn/http_server.rb:144:in `start'
unicorn (5.7.0) bin/unicorn:128:in `<top (required)>'
vendor/bundle/ruby/2.6.0/bin/unicorn:23:in `load'
vendor/bundle/ruby/2.6.0/bin/unicorn:23:in `<main>'

Falco · 2 Noviembre, 2020 19:00

¿Tienes secure media habilitado en la configuración del sitio?

Ed_S · 2 Noviembre, 2020 19:02

No, secure media está deshabilitado (que es la configuración predeterminada).

Por si acaso, veo que secure media allow embed images in emails está habilitado, pero eso también es la configuración predeterminada.

Falco · 2 Noviembre, 2020 19:06

github.com/discourse/discourse

lib/email/styles.rb

d824a5edd


      
                  <img src="#{url}" data-embedded-secure-image="true" style="#{style}" />
                HTML
                div.remove
              end
            end
          end
          
          def to_html
            # needs to be before class + id strip because we need to style redacted
            # media and also not double-redact already redacted from lower levels
            replace_secure_media_urls
            strip_classes_and_ids
            replace_relative_urls
          
            @fragment.to_html
          end
          
          def to_s
            @fragment.to_s
          end

@martin, ¿por qué llamamos a replace_secure_media_urls incondicionalmente? ¿Podemos añadir una comprobación que verifique si hay medios seguros?

Ed_S · 2 Noviembre, 2020 22:25

Solo para señalar: mi actualización falló al ejecutarse desde el navegador, así que realicé una reconstrucción desde la línea de comandos.

(Por si eso significa que esta instalación ha llegado a un estado diferente en comparación con una que se actualizó correctamente. Tengo otro foro en un servidor diferente que se actualizó correctamente y que no falla al enviar correos electrónicos ni al preparar un Resumen de vista previa.)

Ed_S · 2 Noviembre, 2020 22:41

Como actualicé anteriormente el día 19, estamos viendo algo que se introdujo desde entonces.

Esta es la línea de las trazas de pila: attributes["srcset"] ¿es quizás una novedad? O en cualquier caso, value no está presente.

github.com/discourse/discourse

lib/pretty_text.rb

3655062c6


      
            end
          end
          
          # images by themselves or inside a onebox
          doc.css('img[src]').each do |img|
            url = if img.parent.classes.include?("aspect-image")
          
              # we are using the first image from the srcset here so we get the
              # optimized image instead of the original, because an optimized
              # image may be used for the onebox thumbnail
              srcset = img.attributes["srcset"].value
              srcset.split(",").first
            else
              img['src']
            end
          
            width = img.classes.include?('site-icon') ? 16 : img['width']
            height = img.classes.include?('site-icon') ? 16 : img['height']
            oneboxed = (img.parent&.parent&.classes || []).include?('onebox-body')
          
            if Upload.secure_media_url?(url)

Un commit de ayer podría explicar por qué aún no muchas personas están viendo esto.

github.com/discourse/discourse

FIX: Ensure oneboxed secure images which are optimized and also lightboxed optimized images are embedded in email (#11061)

committed 11:52PM - 01 Nov 20 UTC

martin-brennan

+152 -32

We had an issue where onebox thumbnail was too large and thus was optimized, and… we are using the image URLs in post to redact and re-embed, based on the sha1 in the URL. Optimized image URLs have extra stuff on the end like _99x99 so we were not parsing out the sha1 correctly. Another issue I found was for posts that have giant images, the original was being used to embed in the email and thus would basically never get included because it is huge. For example the URL http://localhost:3000/secure-media-uploads/optimized/2X/7/787b17ea6140f4f022eb7f1509a692f2873cfe35_2_690x335.jpeg was not parsed correctly; we would end up with 787b17ea6140f4f022eb7f1509a692f2873cfe35_2_690x335.jpeg as the sha1 which would not find the image to re-embed that was already attached to the email. This fix will use the first optimized image of the detected upload when we are redacting and then re-embedding to make sure we are not sending giant things in email. Also, I detect if it is a onebox thumbnail or the site icon and force appropriate sizes and styles.

Saiano · 3 Noviembre, 2020 08:11

Mismo problema, ¿qué tengo que hacer?

Ed_S · 3 Noviembre, 2020 09:12

Espero que @martin (o alguien más) deshaga uno u otro de los cambios mencionados arriba, o añada la verificación como sugiere @Falco.

merefield · 3 Noviembre, 2020 10:58

Tengo el mismo problema.

AstonJ · 3 Noviembre, 2020 11:44

El mismo problema aquí también..

Ed_S · 3 Noviembre, 2020 12:56

Me pregunto si esto podría ser una solución alternativa: si el problema es el manejo de (algunas) imágenes en los correos electrónicos de resumen, y si estamos dispuestos a enviar resúmenes temporalmente sin imágenes, podemos establecer longitud del correo corto en un número muy grande, de modo que eliminar imágenes de correos cortos elimine todas las imágenes.

Edición: no, lo probé y los trabajos de Sidekiq siguen acumulándose. No se envió ningún correo electrónico durante el experimento, a pesar de que muchos trabajos se reejecutaron varias veces.

Falco · 3 Noviembre, 2020 14:51

PR con la corrección propuesta abierto

GuidoD · 3 Noviembre, 2020 15:17

El mismo problema por aquí, espero que la PR se implemente pronto.

ezworldwide · 3 Noviembre, 2020 17:16

Puedo confirmarlo… también tengo el mismo problema.

Falco · 3 Noviembre, 2020 17:24

La PR se ha fusionado en la última versión, actualiza e informa.

Ed_S · 3 Noviembre, 2020 17:32

¡Funciona para mí ahora, gracias!

merefield · 3 Noviembre, 2020 18:50

Hasta ahora me va bastante bien, muchas gracias.

Tema		Respuestas	Vistas
Failing to send emails, undefined method with_secure_media Support	3	629	5 Enero 2020
NoMethodError: undefined method `should_secure_uploads? - latest updates Support	4	217	15 Mayo 2024
Lots of retries mail in sidekiq after upgrade discourse to 3.5.0.beta8-dev( 4893bda14a ) Support	1	55	9 Julio 2025
Sidekiq email error: no implicit conversion of nil into String Bug	23	6649	2 Mayo 2016
Severe Email Issue since last update a couple days ago - 3.4.0.beta4-dev Support	25	472	16 Febrero 2025

Fallos en el envío de resúmenes desde la actualización (NoMethodError)

Temas relacionados