Errori nell'invio dei digest dall'aggiornamento (NoMethodError)

Ed_S · 2 Novembre 2020, 6:06pm

Aggiornato oggi pomeriggio alla versione 2.6.0.beta5 (7fa6aca9db) e la mia dashboard mi avvisa di lavori falliti:

Ci sono 3 lavori di posta elettronica falliti. Controlla il tuo app.yml e assicurati che le impostazioni del server di posta siano corrette. Vedi i lavori falliti in Sidekiq.

Non vedo che (*) siano state inviate email e ho lavori Sidekiq in stato di ripetizione:

Jobs::UserEmail	
{"type"=>"digest", "user_id"=>206, "current_site_id"=>"default"}
Jobs::HandledExceptionWrapper: Wrapped NoMethodError: undefined method `value' for nil:NilClass

Ho provato a testare l’invio di email usando l’Anteprima Riepilogo, ma si verifica un errore:

Server Error
while trying to load /admin/email/preview-digest.json
Error code: 500 error

Il mio app.yml non è cambiato. Uso Mailgun e prima dell’aggiornamento tutto funzionava correttamente.

(*) Modifica: sono state inviate circa 12 digest, ma “Ci sono 265 lavori di posta elettronica falliti.” Evidentemente l’errore dipende dal contenuto del digest.

justin · 2 Novembre 2020, 6:07pm

Hai installato plugin di terze parti?

Ed_S · 2 Novembre 2020, 6:11pm

No: l’unico plugin è discourse-data-explorer.

Ed_S · 2 Novembre 2020, 6:40pm

Credo che un valore di dati risulti essere nil o vuoto quando non dovrebbe esserlo, oppure non dovrebbe avere importanza. Due stack trace dai log, uno per l’anteprima e uno per il job di Sidekiq, credo:

/var/www/discourse/lib/pretty_text.rb:440:in `block in strip_secure_media'
nokogiri-1.10.10/lib/nokogiri/xml/node_set.rb:238:in `block in each'
nokogiri-1.10.10/lib/nokogiri/xml/node_set.rb:237:in `upto'
nokogiri-1.10.10/lib/nokogiri/xml/node_set.rb:237:in `each'
/var/www/discourse/lib/pretty_text.rb:434:in `strip_secure_media'
/var/www/discourse/lib/email/styles.rb:347:in `replace_secure_media_urls'
/var/www/discourse/lib/email/styles.rb:281:in `to_html'
/var/www/discourse/lib/email/renderer.rb:31:in `html'
/var/www/discourse/lib/email/sender.rb:70:in `send'
/var/www/discourse/app/jobs/regular/user_email.rb:70:in `send_user_email'
/var/www/discourse/app/jobs/regular/user_email.rb:25:in `execute'
/var/www/discourse/app/jobs/base.rb:232:in `block (2 levels) in perform'
rails_multisite-2.5.0/lib/rails_multisite/connection_management.rb:76:in `with_connection'
/var/www/discourse/app/jobs/base.rb:221:in `block in perform'
/var/www/discourse/app/jobs/base.rb:217:in `each'
/var/www/discourse/app/jobs/base.rb:217:in `perform'
sidekiq-6.1.2/lib/sidekiq/processor.rb:196:in `execute_job'
sidekiq-6.1.2/lib/sidekiq/processor.rb:164:in `block (2 levels) in process'
sidekiq-6.1.2/lib/sidekiq/middleware/chain.rb:138:in `block in invoke'
/var/www/discourse/lib/sidekiq/pausable.rb:138:in `call'
sidekiq-6.1.2/lib/sidekiq/middleware/chain.rb:140:in `block in invoke'
sidekiq-6.1.2/lib/sidekiq/middleware/chain.rb:143:in `invoke'
sidekiq-6.1.2/lib/sidekiq/processor.rb:163:in `block in process'
sidekiq-6.1.2/lib/sidekiq/processor.rb:136:in `block (6 levels) in dispatch'
sidekiq-6.1.2/lib/sidekiq/job_retry.rb:111:in `local'
sidekiq-6.1.2/lib/sidekiq/processor.rb:135:in `block (5 levels) in dispatch'
sidekiq-6.1.2/lib/sidekiq.rb:38:in `block in <module:Sidekiq>'
sidekiq-6.1.2/lib/sidekiq/processor.rb:131:in `block (4 levels) in dispatch'
sidekiq-6.1.2/lib/sidekiq/processor.rb:257:in `stats'
sidekiq-6.1.2/lib/sidekiq/processor.rb:126:in `block (3 levels) in dispatch'
sidekiq-6.1.2/lib/sidekiq/job_logger.rb:13:in `call'
sidekiq-6.1.2/lib/sidekiq/processor.rb:125:in `block (2 levels) in dispatch'
sidekiq-6.1.2/lib/sidekiq/job_retry.rb:78:in `global'
sidekiq-6.1.2/lib/sidekiq/processor.rb:124:in `block in dispatch'
sidekiq-6.1.2/lib/sidekiq/logger.rb:10:in `with'
sidekiq-6.1.2/lib/sidekiq/job_logger.rb:33:in `prepare'
sidekiq-6.1.2/lib/sidekiq/processor.rb:123:in `dispatch'
sidekiq-6.1.2/lib/sidekiq/processor.rb:162:in `process'
sidekiq-6.1.2/lib/sidekiq/processor.rb:78:in `process_one'
sidekiq-6.1.2/lib/sidekiq/processor.rb:68:in `run'
sidekiq-6.1.2/lib/sidekiq/util.rb:15:in `watchdog'
sidekiq-6.1.2/lib/sidekiq/util.rb:24:in `block in safe_thread'

e

lib/pretty_text.rb:440:in `block in strip_secure_media'
nokogiri (1.10.10) lib/nokogiri/xml/node_set.rb:238:in `block in each'
nokogiri (1.10.10) lib/nokogiri/xml/node_set.rb:237:in `upto'
nokogiri (1.10.10) lib/nokogiri/xml/node_set.rb:237:in `each'
lib/pretty_text.rb:434:in `strip_secure_media'
lib/email/styles.rb:347:in `replace_secure_media_urls'
lib/email/styles.rb:281:in `to_html'
lib/email/renderer.rb:31:in `html'
app/controllers/admin/email_controller.rb:93:in `preview_digest'
actionpack (6.0.3.3) lib/action_controller/metal/basic_implicit_render.rb:6:in `send_action'
actionpack (6.0.3.3) lib/abstract_controller/base.rb:195:in `process_action'
actionpack (6.0.3.3) lib/action_controller/metal/rendering.rb:30:in `process_action'
actionpack (6.0.3.3) lib/abstract_controller/callbacks.rb:42:in `block in process_action'
activesupport (6.0.3.3) lib/active_support/callbacks.rb:112:in `block in run_callbacks'
app/controllers/application_controller.rb:357:in `block in with_resolved_locale'
i18n (1.8.5) lib/i18n.rb:313:in `with_locale'
app/controllers/application_controller.rb:357:in `with_resolved_locale'
activesupport (6.0.3.3) lib/active_support/callbacks.rb:121:in `block in run_callbacks'
activesupport (6.0.3.3) lib/active_support/callbacks.rb:139:in `run_callbacks'
actionpack (6.0.3.3) lib/abstract_controller/callbacks.rb:41:in `process_action'
actionpack (6.0.3.3) lib/action_controller/metal/rescue.rb:22:in `process_action'
actionpack (6.0.3.3) lib/action_controller/metal/instrumentation.rb:33:in `block in process_action'
activesupport (6.0.3.3) lib/active_support/notifications.rb:180:in `block in instrument'
activesupport (6.0.3.3) lib/active_support/notifications/instrumenter.rb:24:in `instrument'
activesupport (6.0.3.3) lib/active_support/notifications.rb:180:in `instrument'
actionpack (6.0.3.3) lib/action_controller/metal/instrumentation.rb:32:in `process_action'
actionpack (6.0.3.3) lib/action_controller/metal/params_wrapper.rb:245:in `process_action'
activerecord (6.0.3.3) lib/active_record/railties/controller_runtime.rb:27:in `process_action'
actionpack (6.0.3.3) lib/abstract_controller/base.rb:136:in `process'
actionview (6.0.3.3) lib/action_view/rendering.rb:39:in `process'
rack-mini-profiler (2.2.0) lib/mini_profiler/profiling_methods.rb:111:in `block in profile_method'
actionpack (6.0.3.3) lib/action_controller/metal.rb:190:in `dispatch'
actionpack (6.0.3.3) lib/action_controller/metal.rb:254:in `dispatch'
actionpack (6.0.3.3) lib/action_dispatch/routing/route_set.rb:50:in `dispatch'
actionpack (6.0.3.3) lib/action_dispatch/routing/route_set.rb:33:in `serve'
actionpack (6.0.3.3) lib/action_dispatch/routing/mapper.rb:18:in `block in <class:Constraints>'
actionpack (6.0.3.3) lib/action_dispatch/routing/mapper.rb:48:in `serve'
actionpack (6.0.3.3) lib/action_dispatch/journey/router.rb:49:in `block in serve'
actionpack (6.0.3.3) lib/action_dispatch/journey/router.rb:32:in `each'
actionpack (6.0.3.3) lib/action_dispatch/journey/router.rb:32:in `serve'
actionpack (6.0.3.3) lib/action_dispatch/routing/route_set.rb:834:in `call'
lib/middleware/omniauth_bypass_middleware.rb:68:in `call'
rack (2.2.3) lib/rack/tempfile_reaper.rb:15:in `call'
rack (2.2.3) lib/rack/conditional_get.rb:27:in `call'
rack (2.2.3) lib/rack/head.rb:12:in `call'
lib/content_security_policy/middleware.rb:12:in `call'
lib/middleware/anonymous_cache.rb:354:in `call'
rack (2.2.3) lib/rack/session/abstract/id.rb:266:in `context'
rack (2.2.3) lib/rack/session/abstract/id.rb:260:in `call'
actionpack (6.0.3.3) lib/action_dispatch/middleware/cookies.rb:648:in `call'
actionpack (6.0.3.3) lib/action_dispatch/middleware/callbacks.rb:27:in `block in call'
activesupport (6.0.3.3) lib/active_support/callbacks.rb:101:in `run_callbacks'
actionpack (6.0.3.3) lib/action_dispatch/middleware/callbacks.rb:26:in `call'
actionpack (6.0.3.3) lib/action_dispatch/middleware/actionable_exceptions.rb:17:in `call'
actionpack (6.0.3.3) lib/action_dispatch/middleware/debug_exceptions.rb:32:in `call'
actionpack (6.0.3.3) lib/action_dispatch/middleware/show_exceptions.rb:33:in `call'
logster (2.9.4) lib/logster/middleware/reporter.rb:43:in `call'
railties (6.0.3.3) lib/rails/rack/logger.rb:37:in `call_app'
railties (6.0.3.3) lib/rails/rack/logger.rb:28:in `call'
config/initializers/100-quiet_logger.rb:23:in `call'
config/initializers/100-silence_logger.rb:31:in `call'
actionpack (6.0.3.3) lib/action_dispatch/middleware/remote_ip.rb:81:in `call'
actionpack (6.0.3.3) lib/action_dispatch/middleware/request_id.rb:27:in `call'
lib/middleware/enforce_hostname.rb:22:in `call'
rack (2.2.3) lib/rack/method_override.rb:24:in `call'
actionpack (6.0.3.3) lib/action_dispatch/middleware/executor.rb:14:in `call'
rack (2.2.3) lib/rack/sendfile.rb:110:in `call'
actionpack (6.0.3.3) lib/action_dispatch/middleware/host_authorization.rb:76:in `call'
rack-mini-profiler (2.2.0) lib/mini_profiler/profiler.rb:368:in `call'
message_bus (3.3.4) lib/message_bus/rack/middleware.rb:61:in `call'
lib/middleware/request_tracker.rb:176:in `call'
railties (6.0.3.3) lib/rails/engine.rb:527:in `call'
railties (6.0.3.3) lib/rails/railtie.rb:190:in `public_send'
railties (6.0.3.3) lib/rails/railtie.rb:190:in `method_missing'
rack (2.2.3) lib/rack/urlmap.rb:74:in `block in call'
rack (2.2.3) lib/rack/urlmap.rb:58:in `each'
rack (2.2.3) lib/rack/urlmap.rb:58:in `call'
unicorn (5.7.0) lib/unicorn/http_server.rb:632:in `process_client'
unicorn (5.7.0) lib/unicorn/http_server.rb:728:in `worker_loop'
unicorn (5.7.0) lib/unicorn/http_server.rb:548:in `spawn_missing_workers'
unicorn (5.7.0) lib/unicorn/http_server.rb:144:in `start'
unicorn (5.7.0) bin/unicorn:128:in `<top (required)>'
vendor/bundle/ruby/2.6.0/bin/unicorn:23:in `load'
vendor/bundle/ruby/2.6.0/bin/unicorn:23:in `<main>'

Falco · 2 Novembre 2020, 7:00pm

Hai attivato secure media nelle impostazioni del sito?

Ed_S · 2 Novembre 2020, 7:02pm

No, secure media è disabilitato (che è l’impostazione predefinita).

Per tua informazione, vedo che secure media allow embed images in emails è abilitato, ma anche questo è l’impostazione predefinita.

Falco · 2 Novembre 2020, 7:06pm

github.com/discourse/discourse

lib/email/styles.rb

d824a5edd


      
                  <img src="#{url}" data-embedded-secure-image="true" style="#{style}" />
                HTML
                div.remove
              end
            end
          end
          
          def to_html
            # needs to be before class + id strip because we need to style redacted
            # media and also not double-redact already redacted from lower levels
            replace_secure_media_urls
            strip_classes_and_ids
            replace_relative_urls
          
            @fragment.to_html
          end
          
          def to_s
            @fragment.to_s
          end

@martin, perché chiamiamo replace_secure_media_urls incondizionatamente? Possiamo aggiungere un controllo che verifichi la presenza di “media sicuri”?

Ed_S · 2 Novembre 2020, 10:25pm

Solo per precisare: il mio aggiornamento è fallito quando eseguito dal browser, quindi ho eseguito una ricompilazione da riga di comando.

(Nel caso ciò significhi che questa installazione si trovi in uno stato diverso rispetto a una aggiornata con successo. Ho un altro forum su un host diverso, che è stato aggiornato con successo e che non presenta problemi nell’invio di email o nella preparazione di un’anteprima del riepilogo.)

Ed_S · 2 Novembre 2020, 10:41pm

Come ho già aggiornato il 19, stiamo notando qualcosa di introdotto da allora.

Questa è la riga dagli stack trace: attributes["srcset"] è forse una novità? O in ogni caso, value non è presente.

github.com/discourse/discourse

lib/pretty_text.rb

3655062c6


      
            end
          end
          
          # images by themselves or inside a onebox
          doc.css('img[src]').each do |img|
            url = if img.parent.classes.include?("aspect-image")
          
              # we are using the first image from the srcset here so we get the
              # optimized image instead of the original, because an optimized
              # image may be used for the onebox thumbnail
              srcset = img.attributes["srcset"].value
              srcset.split(",").first
            else
              img['src']
            end
          
            width = img.classes.include?('site-icon') ? 16 : img['width']
            height = img.classes.include?('site-icon') ? 16 : img['height']
            oneboxed = (img.parent&.parent&.classes || []).include?('onebox-body')
          
            if Upload.secure_media_url?(url)

Un commit di ieri potrebbe spiegare perché poche persone stanno ancora vedendo questo problema.

github.com/discourse/discourse

FIX: Ensure oneboxed secure images which are optimized and also lightboxed optimized images are embedded in email (#11061)

committed 11:52PM - 01 Nov 20 UTC

martin-brennan

+152 -32

We had an issue where onebox thumbnail was too large and thus was optimized, and… we are using the image URLs in post to redact and re-embed, based on the sha1 in the URL. Optimized image URLs have extra stuff on the end like _99x99 so we were not parsing out the sha1 correctly. Another issue I found was for posts that have giant images, the original was being used to embed in the email and thus would basically never get included because it is huge. For example the URL http://localhost:3000/secure-media-uploads/optimized/2X/7/787b17ea6140f4f022eb7f1509a692f2873cfe35_2_690x335.jpeg was not parsed correctly; we would end up with 787b17ea6140f4f022eb7f1509a692f2873cfe35_2_690x335.jpeg as the sha1 which would not find the image to re-embed that was already attached to the email. This fix will use the first optimized image of the detected upload when we are redacting and then re-embedding to make sure we are not sending giant things in email. Also, I detect if it is a onebox thumbnail or the site icon and force appropriate sizes and styles.

Saiano · 3 Novembre 2020, 8:11am

Stesso problema, cosa devo fare?

Ed_S · 3 Novembre 2020, 9:12am

Spero che @martin (o qualcuno) ripristini una delle modifiche segnalate più sopra, o aggiunga la guardia come suggerisce @Falco.

merefield · 3 Novembre 2020, 10:58am

Anch’io ho lo stesso problema.

AstonJ · 3 Novembre 2020, 11:44am

Stesso problema anche qui..

Ed_S · 3 Novembre 2020, 12:56pm

Mi chiedo se questa potrebbe essere una soluzione: se il problema riguarda la gestione di alcune immagini nelle email di riepilogo, e se siamo disposti a inviare temporaneamente i riepiloghi senza immagini, possiamo impostare short email length su un valore molto alto, in modo che strip images from short emails rimuova tutte le immagini.

Modifica: no, l’ho provato e i job di Sidekiq continuano ad accumularsi. Durante l’esperimento non è stata inviata alcuna email, nonostante molti job si siano rieseguiti più volte.

Falco · 3 Novembre 2020, 2:51pm

PR con la correzione proposta aperta

GuidoD · 3 Novembre 2020, 3:17pm

Stesso problema qui, spero che la PR venga implementata presto.

ezworldwide · 3 Novembre 2020, 5:16pm

Posso confermare… ho lo stesso problema.

Falco · 3 Novembre 2020, 5:24pm

La PR è stata unita all’ultima versione, per favore aggiornate e fateci sapere.

Ed_S · 3 Novembre 2020, 5:32pm

Funziona per me ora, grazie!

merefield · 3 Novembre 2020, 6:50pm

Finora mi sembra tutto ok, grazie mille.

Argomento		Risposte	Visualizzazioni
Failing to send emails, undefined method with_secure_media Support	3	629	Gennaio 5, 2020
NoMethodError: undefined method `should_secure_uploads? - latest updates Support	4	217	Maggio 15, 2024
Lots of retries mail in sidekiq after upgrade discourse to 3.5.0.beta8-dev( 4893bda14a ) Support	1	55	Luglio 9, 2025
Sidekiq email error: no implicit conversion of nil into String Bug	23	6649	Maggio 2, 2016
Severe Email Issue since last update a couple days ago - 3.4.0.beta4-dev Support	25	472	Febbraio 16, 2025

Errori nell'invio dei digest dall'aggiornamento (NoMethodError)

Argomenti correlati