Problema de reconstrução: [Não é possível definir dual-stack em combinação com um endpoint personalizado.]

Don · Novembro 7, 2024, 8:13am

Olá

Não consigo reconstruir com o seguinte problema.

I, [2024-11-07T08:00:56.758061 #1]  INFO -- : cd /var/www/discourse & sudo -E -u discourse bundle exec rake s3:upload_assets
rake aborted!
ArgumentError: Cannot set dual-stack in combination with a custom endpoint. (ArgumentError)

          raise ArgumentError, "Cannot set dual-stack in combination with a custom endpoint."
                ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

FAILED

--------------------

Pups::ExecError: cd /var/www/discourse & sudo -E -u discourse bundle exec rake s3:upload_assets failed with return #<Process::Status: pid 3349 exit 1>

Location of failure: /usr/local/lib/ruby/gems/3.3.0/gems/pups-1.2.1/lib/pups/exec_command.rb:132:in `spawn'

exec failed with the params {"cd"=>"$home", "cmd"=>["sudo -E -u discourse bundle exec rake s3:upload_assets", "sudo -E -u discourse bundle exec rake s3:expire_missing_assets"]}

bootstrap failed with exit code 1

** FAILED TO BOOTSTRAP ** please scroll up and look for earlier error messages, there may be more than one.

./discourse-doctor may help diagnose the problem.

567dc9e1f9a4e662de6024b8504915d8b6ef1ee2d9b4303af75323ba478679e4

Provavelmente relacionado ao commit: FIX: Use dualstack S3 endpoint for direct uploads (#29611) · discourse/discourse@0568d36 · GitHub

Eu uso armazenamento de objetos S3 para fazer upload para DO Spaces. O problema provavelmente está relacionado a isso.

Discourse:

Configuração

Para armazenar os ativos estáticos do Discourse em seu Armazenamento de Objetos, adicione esta configuração em seu app.yml sob a seção hooks:
  after_assets_precompile:
    - exec:
        cd: $home
        cmd:
          - sudo -E -u discourse bundle exec rake s3:upload_assets
          - sudo -E -u discourse bundle exec rake s3:expire_missing_assets

Obrigado

Don · Novembro 7, 2024, 9:35am

Comentei essas linhas, o que faz com que a reconstrução seja executada com sucesso, mas o site fica preso na tela inicial, acho que porque não consegue carregar os ativos. Modo de segurança igual…

  after_assets_precompile:
    - exec:
        cd: $home
        cmd:
          - sudo -E -u discourse bundle exec rake s3:upload_assets
          - sudo -E -u discourse bundle exec rake s3:expire_missing_assets

Alguma ideia? Sei que é um mau momento…

nat · Novembro 7, 2024, 9:44am

Olá Don, vamos dar uma olhada. Obrigado por relatar.

Don · Novembro 7, 2024, 10:33am

Obrigado Natalie

Para uma correção rápida, reconstruí com a versão cc01555fce59e116b76c912b4c5195e111a652b2, que está um commit atrás desta FIX: Use dualstack S3 endpoint for direct uploads (#29611) · discourse/discourse@0568d36 · GitHub

pfaffman · Novembro 7, 2024, 7:24pm

Minha reconstrução com uma configuração do Digital Ocean Spaces S3 começou a falhar com este erro:

, [2024-11-07T19:09:38.615466 #1]  INFO -- : cd /var/www/discourse & sudo -E -u discourse bundle exec rake s3:upload_assets                                                   
rake aborted!                                                                                                                                                                     
ArgumentError: Cannot set dual-stack in combination with a custom endpoint. (ArgumentError)
          raise ArgumentError, "Cannot set dual-stack in combination with a custom endpoint."
                ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-s3-1.143.0/lib/aws-sdk-s3/endpoint_provider.rb:34:in `resolve_endpoint'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-s3-1.143.0/lib/aws-sdk-s3/plugins/endpoints.rb:37:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/seahorse/client/plugins/endpoint.rb:47:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/plugins/param_validator.rb:26:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-s3-1.143.0/lib/aws-sdk-s3/plugins/sse_cpk.rb:24:in `call'

Mas omitir a configuração para whatever faz com que a compilação falhe assim:


I, [2024-11-07T19:15:31.060936 #1]  INFO -- : cd /var/www/discourse & sudo -E -u discourse bundle exec rake s3:upload_assets                                                   
ERROR: Ensure S3 is configured in config/discourse.conf or environment vars              
I, [2024-11-07T19:15:36.056204 #1]  INFO -- :

Eu encontrei isto:

github.com/hashicorp/terraform-provider-aws

Correctly ignore `use_dualstack_endpoint` when using custom service endpoint regardless of source of either setting

opened 06:43AM - 07 Jun 24 UTC

gdavison

bug

### Description The `use_dualstack_endpoint` parameter instructs the AWS SDK en…dpoint resolver to return a dual-stack endpoint. If a custom endpoint is configured for a service, the resolver returns an error. When a custom endpoint is supplied for a service, the value of `use_dualstack_endpoint` must be ignored. Test the following combinations: * Use dual-stack endpoint set on the provider, shared configuration file, or environment variable * No custom endpoint (returns default dual-stack endpoint), custom endpoint set on the provider, shared configuration file, or environment variable, base endpoint set in shared configuration file or environment variable (#32649 suggests adding base endpoint configuration on the provider) ### References See #37876 for the equivalent issue with FIPS endpoints ### Would you like to implement a fix? None

e isto:

github.com/aws/aws-sdk-php

After 3.243.0 Host override cannot be combined with Dualstack, FIPS, or S3 Accelerate

opened 02:01PM - 04 Jan 23 UTC

closed 05:24PM - 05 Jan 23 UTC

kerkness

guidance response-requested

### Describe the bug After the update to version 3.243.0 and I think the start …of using Aws\EndpointV2 it would appear that the option for `use_dual_stack_endpoint` and possibly `use_fips_endpoint` are always true. This prevents multipart uploads which use accelerator and any writes that use accelerator with possible other issues as a result. When tracing through the updates made in 3.243.0 and subsequent updates I was unable to determine where the options are actually being set to true, or if the default behavior for these options is being assumed as true on the AWS end and explicitly setting them to false is being ignored. I am using Laravel 9 with league/flysystem-aws-s3-v3 but the issue appears to be isolated with changes starting with aws-sdk-php v3.243.0 and later. Explicitly setting `"aws/aws-sdk-php": "3.242.1"` in composer resolves the issue ### Expected Behavior Default values for `use_dual_stack_endpoint` and `use_fips_endpoint` is false. Setting env variables `AWS_USE_DUAL_STACK_ENDPOINT` and `AWS_USE_FIPS_ENDPOINT` to false is respected. ### Current Behavior Default values for `use_dual_stack_endpoint` and `use_fips_endpoint` appears to be true. Setting env variables `AWS_USE_DUAL_STACK_ENDPOINT` and `AWS_USE_FIPS_ENDPOINT` to false is ignored. ### Reproduction Steps Create an S3 client with default Laravel S3 config and create a multipart upload ``` $client = Storage::disk('s3')->getClient(); $result = $client->createMultipartUpload([ 'Bucket' => $bucket, 'Key' => $key, 'ContentType' => $type, 'ContentDisposition' => 'inline', ]); ``` Results in error `Host override cannot be combined with Dualstack, FIPS, or S3 Accelerate` Environment variables used ``` AWS_ACCESS_KEY_ID=***** AWS_SECRET_ACCESS_KEY=***** AWS_DEFAULT_REGION=ca-central-1 AWS_BUCKET=my-bucket-name AWS_URL="https://s3.amazonaws.com" AWS_POST_END_POINT="https://${AWS_BUCKET}.s3.amazonaws.com/" AWS_USE_PATH_STYLE_ENDPOINT=false AWS_USE_ACCELERATE_ENDPOINT=true AWS_USE_DUAL_STACK_ENDPOINT=false AWS_USE_FIPS_ENDPOINT=false ``` ### Possible Solution _No response_ ### Additional Information/Context The specific error `Host override cannot be combined with Dualstack, FIPS, or S3 Accelerate` does not appear to be common but has recently been reported with aws cli on stackoverflow indicating it may actually result from a more recent change on AWS/S3 side of things. ### SDK version used 3.243.0 ### Environment details (Version of PHP (`php -v`)? OS name and version, etc.) php 8.0.12, laravel/framerwork ^9.0, league/flysystem-aws-s3-v3 ^3.0, aws/aws-sdk-php ^3.243.0

Talvez S3_REGION deva ser limpo se um endpoint for definido aqui?

github.com/discourse/discourse

lib/file_store/to_s3_migration.rb

main


      
                  - DISCOURSE_S3_REGION
                  and either
                  - DISCOURSE_S3_ACCESS_KEY_ID
                  - DISCOURSE_S3_SECRET_ACCESS_KEY
                  or
                  - DISCOURSE_S3_USE_IAM_PROFILE
              TEXT
            end
          
            opts = { region: ENV["DISCOURSE_S3_REGION"] }
            opts[:endpoint] = ENV["DISCOURSE_S3_ENDPOINT"] if ENV["DISCOURSE_S3_ENDPOINT"].present?
          
            if ENV["DISCOURSE_S3_USE_IAM_PROFILE"].blank?
              opts[:access_key_id] = ENV["DISCOURSE_S3_ACCESS_KEY_ID"]
              opts[:secret_access_key] = ENV["DISCOURSE_S3_SECRET_ACCESS_KEY"]
            end
          
            { client_options: opts, bucket: ENV["DISCOURSE_S3_BUCKET"] }
          end
          
          def migrate

EDIT: Ops. Achei que tinha pesquisado. Desculpe Falco.

pfaffman · Novembro 7, 2024, 7:40pm

Estranhamente, isso me dá este erro:

Gem::LoadError: não é possível ativar webrick-1.9.0, já ativado webrick-1.8.2 (Gem::LoadError)

que eu tinha acabado de ver em uma instância que estava usando para executar uma importação, que eu “consertou” atualizando.

Acho que simplesmente não posso atualizar este servidor agora.

Don · Novembro 7, 2024, 7:48pm

Não tenho certeza, mas talvez valha a pena tentar. Eu já fiz uma reconstrução com sucesso antes de fazer isso.

E logo depois disso, tentei reconstruir selecionando o commit. Na segunda vez, a reconstrução foi bem-sucedida.

Falco · Novembro 7, 2024, 8:14pm

@martin geralmente o que fazemos aqui é fornecer uma GlobalSetting para desabilitar o comportamento que permite que pessoas executando clones S3 incompatíveis possam optar por fazê-lo funcionar.

Na minha opinião, o comportamento atual deve permanecer como padrão, mas fornecer opções para aumentar a compatibilidade.

Veja exemplos anteriores em DISCOURSE_S3_HTTP_CONTINUE_TIMEOUT, DISCOURSE_S3_INSTALL_CORS_RULE, etc.

martin · Novembro 8, 2024, 12:13am

Ah, desculpe, falha minha, pessoal. Esses clones de S3 sempre me escapam. Na verdade, tive que corrigir esse problema de endpoint personalizado com o Minio ontem. Acho que a correção aqui pode ser simplesmente nunca usar dualstack se DISCOURSE_S3_ENDPOINT foi definido, já que eles são incompatíveis, e todo mundo aqui aparentemente está usando isso.

martin · Novembro 8, 2024, 1:13am

Eu mesclei uma correção para isso agora:

github.com/discourse/discourse

FIX: S3 custom endpoint incompatible with dualstack

main ← issue/fix-s3-endpoint-dualstack

opened 12:41AM - 08 Nov 24 UTC

martin-brennan

+22 -5

Followup 0568d36133081e52f25f05585c1a568c3b828d79 S3 itself and other S3-comp…atible providers do not allow using an S3 custom endpoint and dualstack at the same time, so this commit fixes that by not using dualstack when the endpoint is present. c.f. https://meta.discourse.org/t/rebuild-issue-cannot-set-dual-stack-in-combination-with-a-custom-endpoint/334902

pfaffman · Novembro 8, 2024, 4:03pm

Obrigado pela correção rápida! Estou de volta aos negócios.

Obrigado pela explicação clara, Rafael!

Isso porque há muita coisa para se lembrar! E os testes de especificação, acho, exigiriam aqueles stub_requests irritantes que eu sei que odeio escrever.

Só para constar, isso me parece certo. E você provavelmente poderia escrever testes para isso que não exigissem stubs para stub_requests.

nat · Novembro 13, 2024, 5:49am

10 posts foram movidos para um novo tópico: Não é possível fazer backup ou navegar até os backups

merefield · Novembro 13, 2024, 11:29am

Não acho que isso deva ser marcado como fixed.

Essa alteração muito provavelmente causou uma interrupção nos backups em várias instâncias (com outras pessoas presumivelmente sem saber que suas instâncias não estão fazendo backup ainda).

Isso sugere que as especificações não são amplas o suficiente para capturar todos os casos de uso reais e que alterações estão sendo aprovadas quando não deveriam?

pfaffman · Novembro 14, 2024, 5:01pm

Parece que foi corrigido apenas para sites que têm use_s3 ativado, mas não para aqueles que usam S3 apenas para backups.

Embora seja possível reconstruir novamente, é apenas que os backups do S3 estão quebrados.

martin · Novembro 15, 2024, 4:41am

O problema de backup foi corrigido aqui Unable to backup or navigate to backups - #20 by martin

j.jaffeux · Novembro 18, 2024, 4:42am

Este tópico foi fechado automaticamente 3 dias após a última resposta. Novas respostas não são mais permitidas.

Tópico		Respostas	Visualizações
Setting DISCOURSE_S3_REGION: whatever no longer works Bug	2	55	7 de Novembro de 2024
Unable to backup or navigate to backups Bug s3	23	242	18 de Novembro de 2024
Rake uploads:migrate_to_s3 error Installation s3	8	789	6 de Janeiro de 2020
Configure an S3 compatible object storage provider for uploads Self-Hosting cdn , configuring , how-to , reference	265	43379	19 de Novembro de 2025
Can't rebuild due to AWS SDK gem bump and new AWS Data Integrity Protections Installation	53	935	4 de Novembro de 2025

Problema de reconstrução: [Não é possível definir dual-stack em combinação com um endpoint personalizado.]

Tópicos relacionados