Incapaz de fazer backup ou navegar até backups

merefield · Novembro 11, 2024, 7:51am

Obtendo

O backup falhou.

Aqui está o log:

undefined method `start_with?' for nil /var/www/discourse/app/models/site_setting.rb:172:in `use_dualstack_endpoint’
/var/www/discourse/lib/s3_helper.rb:269:in `s3_options' /var/www/discourse/lib/backup_restore/s3_backup_store.rb:14:in `initialize’
/var/www/discourse/lib/backup_restore/backup_store.rb:17:in `new'`

após uma reconstrução muito recente para a versão mais recente.

No meu caso, o S3 é hospedado com um bucket AWS comum.

Isso pode estar relacionado?

hosna · Novembro 11, 2024, 8:17am

Eu uso o armazenamento de objetos minio para meu s3 e recebo este erro:

rake aborted!
Aws::S3::Errors::Http504Error: Aws::S3::Errors::Http504Error (Aws::S3::Errors::Http504Error)
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/seahorse/client/plugins/raise_response_errors.rb:17:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-s3-1.143.0/lib/aws-sdk-s3/plugins/sse_cpk.rb:24:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-s3-1.143.0/lib/aws-sdk-s3/plugins/dualstack.rb:21:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-s3-1.143.0/lib/aws-sdk-s3/plugins/accelerate.rb:43:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/plugins/checksum_algorithm.rb:111:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/plugins/jsonvalue_converter.rb:16:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/plugins/idempotency_token.rb:19:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/plugins/param_converter.rb:26:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/seahorse/client/plugins/request_callback.rb:89:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/plugins/response_paging.rb:12:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/seahorse/client/plugins/response_target.rb:24:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/seahorse/client/request.rb:72:in `send_request'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-s3-1.143.0/lib/aws-sdk-s3/client.rb:11285:in `list_objects_v2'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-s3-1.143.0/lib/aws-sdk-s3/bucket.rb:1304:in `block (2 levels) in objects'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/plugins/user_agent.rb:28:in `feature'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-s3-1.143.0/lib/aws-sdk-s3/bucket.rb:1303:in `block in objects'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/resources/collection.rb:101:in `each'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/resources/collection.rb:101:in `each'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/resources/collection.rb:101:in `block in non_empty_batches'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/resources/collection.rb:52:in `each'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/resources/collection.rb:52:in `each'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/resources/collection.rb:52:in `block in each'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/resources/collection.rb:58:in `each'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/resources/collection.rb:58:in `each'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/resources/collection.rb:58:in `each'
/var/www/discourse/lib/tasks/s3.rake:14:in `map'
/var/www/discourse/lib/tasks/s3.rake:14:in `existing_assets'
/var/www/discourse/lib/tasks/s3.rake:210:in `block in <main>'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rake-13.2.1/exe/rake:27:in `<top (required)>'
/usr/local/bin/bundle:25:in `load'
/usr/local/bin/bundle:25:in `<main>'
Tasks: TOP => s3:expire_missing_assets
(See full trace by running task with --trace)
I, [2024-11-11T08:02:51.942337 #1]  INFO -- : Checking for stale S3 assets...

I, [2024-11-11T08:02:51.944197 #1]  INFO -- : Terminating async processes
I, [2024-11-11T08:02:51.944334 #1]  INFO -- : Sending INT to HOME=/var/lib/postgresql USER=postgres exec chpst -u postgres:postgres:ssl-cert -U postgres:postgres:ssl-cert /usr/lib/postgresql/13/bin/postmaster -D /etc/postgresql/13/main pid: 39
I, [2024-11-11T08:02:51.944432 #1]  INFO -- : Sending TERM to exec chpst -u redis -U redis /usr/bin/redis-server /etc/redis/redis.conf pid: 107
2024-11-11 08:02:51.944 UTC [39] LOG:  received fast shutdown request
107:signal-handler (1731312171) Received SIGTERM scheduling shutdown...
2024-11-11 08:02:51.945 UTC [39] LOG:  aborting any active transactions
2024-11-11 08:02:51.949 UTC [39] LOG:  background worker "logical replication launcher" (PID 54) exited with exit code 1
2024-11-11 08:02:51.950 UTC [49] LOG:  shutting down
107:M 11 Nov 2024 08:02:51.960 # User requested shutdown...
107:M 11 Nov 2024 08:02:51.960 * Saving the final RDB snapshot before exiting.
2024-11-11 08:02:52.047 UTC [39] LOG:  database system is shut down
107:M 11 Nov 2024 08:02:52.207 * DB saved on disk
107:M 11 Nov 2024 08:02:52.208 # Redis is now ready to exit, bye bye...

FAILED
--------------------
Pups::ExecError: cd /var/www/discourse &amp;&amp; sudo -E -u discourse bundle exec rake s3:expire_missing_assets failed with return #&lt;Process::Status: pid 3550 exit 1&gt;
Location of failure: /usr/local/lib/ruby/gems/3.3.0/gems/pups-1.2.1/lib/pups/exec_command.rb:132:in `spawn'
exec failed with the params {"cd"=>"$home", "cmd"=>["sudo -E -u discourse bundle exec rake s3:upload_assets", "sudo -E -u discourse bundle exec rake s3:expire_missing_assets"]}
bootstrap failed with exit code 1
** FAILED TO BOOTSTRAP ** please scroll up and look for earlier error messages, there may be more than one.
./discourse-doctor may help diagnose the problem.
4f601885ffad64bcd29f6dbd06df1f0f86ad301341d40e752df7447809a32eff

@martin

merefield · Novembro 11, 2024, 11:16pm

Outro problema é que você não pode mais navegar para backups:

Erro ao computar o relatório `storage_stats`: método indefinido `start_with?' para nil
/var/www/discourse/app/models/site_setting.rb:172:in `use_dualstack_endpoint'
/var/www/discourse/lib/s3_helper.rb:269:in `s3_options'

merefield · Novembro 11, 2024, 11:24pm

Poderia ser este o motivo?

[7] pry(main)> SiteSetting.Upload.s3_region
=> nil
[8] pry(main)> SiteSetting.s3_region
=> "eu-west-2"
[9] pry(main)>

SiteSetting.Upload.s3_region está em branco na minha instância, então starts_with? está lançando um erro.

github.com/discourse/discourse

app/models/site_setting.rb

4816e8e0e


      
          
          def self.enable_s3_transfer_acceleration
            if SiteSetting.enable_s3_uploads
              SiteSetting.enable_s3_transfer_acceleration
            else
              GlobalSetting.enable_s3_transfer_acceleration
            end
          end
          
          def self.use_dualstack_endpoint
            SiteSetting.Upload.s3_endpoint.blank? && !SiteSetting.Upload.s3_region.start_with?("cn-")
          end
          
          def self.enable_s3_uploads
            SiteSetting.enable_s3_uploads || GlobalSetting.use_s3?
          end
          
          def self.s3_base_url
            path = self.s3_upload_bucket.split("/", 2)[1]
            "#{self.absolute_base_url}#{path ? "/" + path : ""}"
          end

merefield · Novembro 11, 2024, 11:30pm

Neste PR:

github.com/discourse/discourse

FIX: S3 custom endpoint incompatible with dualstack

main ← issue/fix-s3-endpoint-dualstack

opened 12:41AM - 08 Nov 24 UTC

martin-brennan

+22 -5

Followup 0568d36133081e52f25f05585c1a568c3b828d79 S3 itself and other S3-comp…atible providers do not allow using an S3 custom endpoint and dualstack at the same time, so this commit fixes that by not using dualstack when the endpoint is present. c.f. https://meta.discourse.org/t/rebuild-issue-cannot-set-dual-stack-in-combination-with-a-custom-endpoint/334902

A especificação usa SiteSetting.s3_region, mas o código usa SiteSetting.Upload.s3_region

martin · Novembro 12, 2024, 5:56am

@hosna e @merefield, SiteSetting.enable_s3_uploads está como true para ambos? Se estiver, deveríamos apenas usar SiteSetting.s3_region:

github.com/discourse/discourse

app/models/site_setting.rb

f9d92fa87


      
          def self.s3_region
            SiteSetting.enable_s3_uploads ? SiteSetting.s3_region : GlobalSetting.s3_region
          end

E quanto a SiteSetting::Upload.enable_s3_uploads, o que isso retorna para vocês?

Eu poderia fazer uma correção como esta, usando navegação segura para s3_region:

def self.use_dualstack_endpoint
  SiteSetting.Upload.s3_endpoint.blank? && !SiteSetting.Upload.s3_region&.start_with?("cn-")
end

Mas eu quero entender por que SiteSetting.Upload.s3_region está em branco para vocês.

merefield · Novembro 12, 2024, 6:40am

OK, isso fica mais estranho, existem duas configurações?

Estou usando S3 para backups, mas não para uploads (O que é uma escolha válida e tem sido o caso por anos?)
Habilitá-los ambos não é imposto pela interface.
Não alterei nenhuma configuração por anos.

Assim, SiteSetting::Upload.s3_region está em branco, pois não estou usando?

Embora, como nota paralela, os uploads devam ser agrupados com os backups de qualquer maneira, mas SiteSetting.s3_region deve ser suficiente para isso?

Meus backups ainda estão falhando

hosna · Novembro 12, 2024, 11:42am

se você quer dizer esta configuração, não, ela não está habilitada para mim

Eu configurei o s3 no meu arquivo app.yml assim

o que foi mencionado aqui

@martin

omarfilip · Novembro 13, 2024, 3:03am

Apenas para relatar o mesmo problema mencionado acima. Sem acesso a /admin/backups (erro 500), backup falhou.

Backups S3 estão habilitados, uploads S3 não estão - tem sido assim e funcionando com sucesso por anos.

Log de erro

### Mensagem (14 cópias relatadas)

Erro ao calcular o relatório `storage_stats`: método indefinido `start_with?' para nil /var/www/discourse/app/models/site_setting.rb:172:in `use_dualstack_endpoint' /var/www/discourse/lib/backup_restore/s3_backup_store.rb:14:in `initialize' /var/www/discourse/lib/backup_restore/backup_store.rb:17:in `new' /var/www/discourse/lib/backup_restore/backup_store.rb:17:in `create' /var/www/discourse/app/models/concerns/reports/storage_stats.rb:10:in `report_storage_stats' /var/www/discourse/app/models/report.rb:269:in `public_send' /var/www/discourse/app/models/report.rb:269:in `block in find' /var/www/discourse/app/models/report.rb:165:in `block in wrap_slow_query' /var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activerecord-7.1.5/lib/active_record/connection_adapters/abstract/transaction.rb:535:in `block in within_new_transaction' /var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activesupport-7.1.5/lib/active_support/concurrency/null_lock.rb:9:in `synchronize' /var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activerecord-7.1.5/lib/active_record/connection_adapters/abstract/transaction.rb:532:in `within_new_transaction' /var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activerecord-7.1.5/lib/active_record/connection_adapters/abstract/database_statements.rb:344:in `transaction' /var/www/discourse/app/models/report.rb:160:in `wrap_slow_query' /var/www/discourse/app/models/report.rb:267:in `find' /var/www/discourse/app/controllers/admin/reports_controller.rb:97:in `block (2 levels) in bulk' /var/www/discourse/vendor/bundle/ruby/3.3.0/gems/actionpack-7.1.5/lib/action_controller/metal/strong_parameters.rb:400:in `block in each_pair' /var/www/discourse/vendor/bundle/ruby/3.3.0/gems/actionpack-7.1.5/lib/action_controller/metal/strong_parameters.rb:399:in `each_pair' /var/www/discourse/vendor/bundle/ruby/3.3.0/gems/actionpack-7.1.5/lib/action_controller/metal/strong_parameters.rb:399:in `each_pair' /var/www/discourse/app/contro...

### Backtrace

activesupport-7.1.5/lib/active_support/broadcast_logger.rb:134:in `block in error'

activesupport-7.1.5/lib/active_support/broadcast_logger.rb:231:in `block in dispatch'

activesupport-7.1.5/lib/active_support/broadcast_logger.rb:231:in `each'

activesupport-7.1.5/lib/active_support/broadcast_logger.rb:231:in `dispatch'

activesupport-7.1.5/lib/active_support/broadcast_logger.rb:134:in `error'

/var/www/discourse/app/models/report.rb:295:in `rescue in find'

/var/www/discourse/app/models/report.rb:262:in `find'

/var/www/discourse/app/controllers/admin/reports_controller.rb:97:in `block (2 levels) in bulk'

actionpack-7.1.5/lib/action_controller/metal/strong_parameters.rb:400:in `block in each_pair'

actionpack-7.1.5/lib/action_controller/metal/strong_parameters.rb:399:in `each_pair'

actionpack-7.1.5/lib/action_controller/metal/strong_parameters.rb:399:in `each_pair'

/var/www/discourse/app/controllers/admin/reports_controller.rb:76:in `block in bulk'

/var/www/discourse/lib/hijack.rb:64:in `instance_eval'

/var/www/discourse/lib/hijack.rb:64:in `block in hijack'

concurrent-ruby-1.3.4/lib/concurrent-ruby/concurrent/promises.rb:911:in `callback_on_resolution'

concurrent-ruby-1.3.4/lib/concurrent-ruby/concurrent/promises.rb:797:in `call_callback'

concurrent-ruby-1.3.4/lib/concurrent-ruby/concurrent/promises.rb:803:in `call_callbacks'

concurrent-ruby-1.3.4/lib/concurrent-ruby/concurrent/promises.rb:692:in `resolve_with'

concurrent-ruby-1.3.4/lib/concurrent-ruby/concurrent/promises.rb:1325:in `resolve'

/var/www/discourse/lib/scheduler/defer.rb:115:in `block in do_work'

rails_multisite-6.1.0/lib/rails_multisite/connection_management/null_instance.rb:49:in `with_connection'

rails_multisite-6.1.0/lib/rails_multisite/connection_management.rb:21:in `with_connection'

/var/www/discourse/lib/scheduler/defer.rb:109:in `do_work'

/var/www/discourse/lib/scheduler/defer.rb:97:in `block (2 levels) in start_thread'

### Env

1/14

|hostname|forum-app|
| --- | --- |
|process_id|849|
|application_version|234133bd3b0750b2675a1c2c6745616c899df990|
|HTTP_HOST|forum.glasair-owners.com|
|REQUEST_METHOD|GET|
|HTTP_USER_AGENT|Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36|
|HTTP_ACCEPT|application/json, text/javascript, */*; q=0.01|
|HTTP_REFERER|https://forum.glasair-owners.com/admin|
|HTTP_X_FORWARDED_FOR|xxx|
|HTTP_X_REAL_IP|xxx|
|username|xxx|
|time|6:47 pm|
||params null|

Chet_McDoniel · Novembro 13, 2024, 3:30am

Mesmo problema aqui…

pfaffman · Novembro 14, 2024, 5:07pm

Não. Esse é o problema, tenho certeza. Eles estão usando S3 para backups, mas não para uploads, o que é uma configuração bastante comum para auto-hospedeiros. É fácil configurar backups S3, e não requer um CDN ou alteração do YML para fazer upload de assets para pré-compilar.

Está em branco porque eles não estão usando S3 para uploads.

      SiteSetting.Upload.s3_endpoint.blank? && !SiteSetting.Upload.s3_region.start_with?("cn-")

do link do github acima, deveria ser

      GlobalSettings.use_s3 && SiteSetting.Upload.s3_endpoint.blank? && !SiteSetting.Upload.s3_region.start_with?("cn-")

ou talvez

      SiteSetting.enable_s3_uploads && SiteSetting.Upload.s3_endpoint.blank? && !SiteSetting.Upload.s3_region.start_with?("cn-")

Não tenho certeza de como use_s3 e enable_s3_uploads estão conectados.

pfaffman · Novembro 14, 2024, 5:18pm

E eu acho que

github.com/discourse/discourse

app/models/site_setting.rb

4816e8e0e


      
              SiteSetting.enable_s3_transfer_acceleration
            else
              GlobalSetting.enable_s3_transfer_acceleration
            end
          end
          
          def self.use_dualstack_endpoint
            SiteSetting.Upload.s3_endpoint.blank? && !SiteSetting.Upload.s3_region.start_with?("cn-")
          end
          
          def self.enable_s3_uploads
            SiteSetting.enable_s3_uploads || GlobalSetting.use_s3?
          end
          
          def self.s3_base_url
            path = self.s3_upload_bucket.split("/", 2)[1]
            "#{self.absolute_base_url}#{path ? "/" + path : ""}"
          end
          
          def self.absolute_base_url
            url_basename = SiteSetting.s3_endpoint.split("/")[-1]

deveria realmente ser def self.enable_s3_uploads? (já que está relatando se os uploads s3 estão habilitados em vez de habilitá-los) e então

  SiteSetting.Upload.s3_endpoint.blank? && !SiteSetting.Upload.s3_region.start_with?("cn-")

deveria ser

  use_s3_uploads? && SiteSetting.Upload.s3_endpoint.blank? && !SiteSetting.Upload.s3_region.start_with?("cn-")

Por outro lado, foi assim que Sam o nomeou há 7 anos, e parece que tem funcionado bem :-).

Então, como a função está nomeada agora

  use_s3_uploads && SiteSetting.Upload.s3_endpoint.blank? && !SiteSetting.Upload.s3_region.start_with?("cn-")

merefield · Novembro 14, 2024, 6:50pm

não deveria ser?:

use_s3_uploads? && !SiteSetting.Upload.s3_endpoint.blank? && !SiteSetting.Upload.s3_region.start_with?("cn-")

ou seja, o endpoint de upload s3 não está em branco?

hosna · Novembro 14, 2024, 7:04pm

mas eu também uso s3 para uploads. Eu o configurei em meu app.yml.

MarcP · Novembro 14, 2024, 7:29pm

Eu tenho o mesmo.. fiz login no meu provedor de armazenamento para verificar se paguei a conta, e paguei.

Por que uma alteração tão drástica seria implementada sem nenhum anúncio?

Devemos inserir todos os detalhes em app.yml agora?

Por que todas as configurações foram removidas do backend de administração? Como podemos recuperar essas configurações? Configurei isso uma vez anos atrás e não tenho ideia de qual é minha chave ou segredo e nem tenho certeza se posso recuperar isso sem redefinir a chave (o que afetaria outros serviços que uso os mesmos endpoints s3 para..)

merefield · Novembro 14, 2024, 8:12pm

Acredito que as configurações ainda estejam na interface do usuário (local de backup, frequência, bucket S3, etc.), só não está funcionando como antes.

Não acredito que seja uma mudança funcional intencional, está apenas quebrado?

Certamente ainda deve ser possível fazer backup no S3 sem ter que armazenar uploads no S3 - esses são dois casos de uso separados, embora um tanto alinhados…

Al_Ni · Novembro 14, 2024, 9:36pm

Mesmo problema
Estava usando o S3 para backup, não para upload

pfaffman · Novembro 14, 2024, 11:02pm

Porque não era suposto quebrar nada, mas o código s3 tem de suportar uma série de casos extremos e, a menos que tenha escrito esse código ou prestado atenção ao seu desenvolvimento ao longo dos anos, é bastante difícil entrar e ver quão grande é realmente o problema.

martin · Novembro 15, 2024, 2:06am

Desculpem a todos, estive doente por alguns dias. Isso deve corrigir o problema:

github.com/discourse/discourse

FIX: Admin backups erroring because of S3 dualstack

main ← issue/fix-s3-backup-dualstack

opened 01:53AM - 15 Nov 24 UTC

martin-brennan

+30 -10

Followup 0568d36133081e52f25f05585c1a568c3b828d79 Followup 97cf069a061e350edfc5…310266e80e58532a39a4 Due to the S3 dualstack endpoint change, sites with S3 backups configured but _not_ S3 uploads were erroring, with admins unable to access the backups page. This commit fixes the error by not enabling S3 dualstack endpoints if S3 uploads have not been enabled, backups don't need to use them. c.f. https://meta.discourse.org/t/unable-to-backup-or-navigate-to-backups/335899

Eu tentei isso localmente com uploads S3 desativados e backups S3 ativados antes e depois da correção, consegui replicar o mesmo erro e depois resolvê-lo.

omarfilip · Novembro 15, 2024, 3:42am

Reconstruído e com backup bem-sucedido.

Obrigado @martin.

Tópico		Respostas	Visualizações
Rebuild issue: [Cannot set dual-stack in combination with a custom endpoint.] Bug s3 , fixed	15	296	18 de Novembro de 2024
Intended path to migrate S3 to local Installation uploads , s3	5	786	13 de Maio de 2023
Forum rendered unusable Installation s3	10	821	4 de Setembro de 2023
Restore process cancelled at migrating uploads to S3 step Support	25	2537	24 de Abril de 2021
No access to site after set S3 credentials Support	11	833	4 de Abril de 2020

Incapaz de fazer backup ou navegar até backups

Tópicos relacionados