Problema al reconstruir: [No se puede establecer dual-stack en combinación con un endpoint personalizado]

Don · 7 Noviembre, 2024 08:13

Hola

No puedo reconstruir con el siguiente problema.

I, [2024-11-07T08:00:56.758061 #1]  INFO -- : cd /var/www/discourse & sudo -E -u discourse bundle exec rake s3:upload_assets
rake aborted!
ArgumentError: No se puede establecer dual-stack en combinación con un punto final personalizado. (ArgumentError)

          raise ArgumentError, "Cannot set dual-stack in combination with a custom endpoint."
                ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

FAILED

--------------------

Pups::ExecError: cd /var/www/discourse & sudo -E -u discourse bundle exec rake s3:upload_assets falló con el retorno #<Process::Status: pid 3349 exit 1>

Ubicación del fallo: /usr/local/lib/ruby/gems/3.3.0/gems/pups-1.2.1/lib/pups/exec_command.rb:132:in `spawn'

exec falló con los parámetros {"cd"=>"$home", "cmd"=>["sudo -E -u discourse bundle exec rake s3:upload_assets", "sudo -E -u discourse bundle exec rake s3:expire_missing_assets"]}

bootstrap falló con el código de salida 1

**FALLÓ EL ARRANQUE** desplácese hacia arriba y busque mensajes de error anteriores, puede haber más de uno.

./discourse-doctor puede ayudar a diagnosticar el problema.

567dc9e1f9a4e662de6024b8504915d8b6ef1ee2d9b4303af75323ba478679e4

Probablemente relacionado con el commit: FIX: Use dualstack S3 endpoint for direct uploads (#29611) · discourse/discourse@0568d36 · GitHub

Utilizo almacenamiento de objetos S3 para subir a DO Spaces. El problema probablemente esté relacionado con esto.

Discourse:

Configuración

Para almacenar los activos estáticos de Discourse en su Almacenamiento de Objetos, agregue esta configuración en su app.yml bajo la sección hooks:
  after_assets_precompile:
    - exec:
        cd: $home
        cmd:
          - sudo -E -u discourse bundle exec rake s3:upload_assets
          - sudo -E -u discourse bundle exec rake s3:expire_missing_assets

Gracias

Don · 7 Noviembre, 2024 09:35

Comenté estas líneas, lo que hace que la reconstrucción se ejecute correctamente, pero el sitio se queda atascado en la pantalla de inicio, creo que porque no puede cargar los activos. El modo seguro es lo mismo…

  after_assets_precompile:
    - exec:
        cd: $home
        cmd:
          - sudo -E -u discourse bundle exec rake s3:upload_assets
          - sudo -E -u discourse bundle exec rake s3:expire_missing_assets

¿Alguna idea? Sé que es un mal momento…

nat · 7 Noviembre, 2024 09:44

Hola Don, le echaremos un vistazo. Gracias por informar.

Don · 7 Noviembre, 2024 10:33

Gracias Natalie

Como solución rápida, he reconstruido con la versión cc01555fce59e116b76c912b4c5195e111a652b2, que está un commit por detrás de esta FIX: Use dualstack S3 endpoint for direct uploads (#29611) · discourse/discourse@0568d36 · GitHub

pfaffman · 7 Noviembre, 2024 19:24

Mi reconstrucción con una configuración de Digital Ocean Spaces S3 comenzó a fallar con este error:

, [2024-11-07T19:09:38.615466 #1]  INFO -- : cd /var/www/discourse & sudo -E -u discourse bundle exec rake s3:upload_assets
rake aborted!
ArgumentError: Cannot set dual-stack in combination with a custom endpoint. (ArgumentError)
          raise ArgumentError, "Cannot set dual-stack in combination with a custom endpoint."
                ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-s3-1.143.0/lib/aws-sdk-s3/endpoint_provider.rb:34:in `resolve_endpoint'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-s3-1.143.0/lib/aws-sdk-s3/plugins/endpoints.rb:37:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/seahorse/client/plugins/endpoint.rb:47:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/plugins/param_validator.rb:26:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-s3-1.143.0/lib/aws-sdk-s3/plugins/sse_cpk.rb:24:in `call'

Pero omitir la configuración a whatever hace que la compilación falle de esta manera:


I, [2024-11-07T19:15:31.060936 #1]  INFO -- : cd /var/www/discourse & sudo -E -u discourse bundle exec rake s3:upload_assets
ERROR: Ensure S3 is configured in config/discourse.conf or environment vars
I, [2024-11-07T19:15:36.056204 #1]  INFO -- :

Encontré esto:

github.com/hashicorp/terraform-provider-aws

Correctly ignore `use_dualstack_endpoint` when using custom service endpoint regardless of source of either setting

opened 06:43AM - 07 Jun 24 UTC

gdavison

bug

### Description The `use_dualstack_endpoint` parameter instructs the AWS SDK en…dpoint resolver to return a dual-stack endpoint. If a custom endpoint is configured for a service, the resolver returns an error. When a custom endpoint is supplied for a service, the value of `use_dualstack_endpoint` must be ignored. Test the following combinations: * Use dual-stack endpoint set on the provider, shared configuration file, or environment variable * No custom endpoint (returns default dual-stack endpoint), custom endpoint set on the provider, shared configuration file, or environment variable, base endpoint set in shared configuration file or environment variable (#32649 suggests adding base endpoint configuration on the provider) ### References See #37876 for the equivalent issue with FIPS endpoints ### Would you like to implement a fix? None

y esto:

github.com/aws/aws-sdk-php

After 3.243.0 Host override cannot be combined with Dualstack, FIPS, or S3 Accelerate

opened 02:01PM - 04 Jan 23 UTC

closed 05:24PM - 05 Jan 23 UTC

kerkness

guidance response-requested

### Describe the bug After the update to version 3.243.0 and I think the start …of using Aws\EndpointV2 it would appear that the option for `use_dual_stack_endpoint` and possibly `use_fips_endpoint` are always true. This prevents multipart uploads which use accelerator and any writes that use accelerator with possible other issues as a result. When tracing through the updates made in 3.243.0 and subsequent updates I was unable to determine where the options are actually being set to true, or if the default behavior for these options is being assumed as true on the AWS end and explicitly setting them to false is being ignored. I am using Laravel 9 with league/flysystem-aws-s3-v3 but the issue appears to be isolated with changes starting with aws-sdk-php v3.243.0 and later. Explicitly setting `"aws/aws-sdk-php": "3.242.1"` in composer resolves the issue ### Expected Behavior Default values for `use_dual_stack_endpoint` and `use_fips_endpoint` is false. Setting env variables `AWS_USE_DUAL_STACK_ENDPOINT` and `AWS_USE_FIPS_ENDPOINT` to false is respected. ### Current Behavior Default values for `use_dual_stack_endpoint` and `use_fips_endpoint` appears to be true. Setting env variables `AWS_USE_DUAL_STACK_ENDPOINT` and `AWS_USE_FIPS_ENDPOINT` to false is ignored. ### Reproduction Steps Create an S3 client with default Laravel S3 config and create a multipart upload ``` $client = Storage::disk('s3')->getClient(); $result = $client->createMultipartUpload([ 'Bucket' => $bucket, 'Key' => $key, 'ContentType' => $type, 'ContentDisposition' => 'inline', ]); ``` Results in error `Host override cannot be combined with Dualstack, FIPS, or S3 Accelerate` Environment variables used ``` AWS_ACCESS_KEY_ID=***** AWS_SECRET_ACCESS_KEY=***** AWS_DEFAULT_REGION=ca-central-1 AWS_BUCKET=my-bucket-name AWS_URL="https://s3.amazonaws.com" AWS_POST_END_POINT="https://${AWS_BUCKET}.s3.amazonaws.com/" AWS_USE_PATH_STYLE_ENDPOINT=false AWS_USE_ACCELERATE_ENDPOINT=true AWS_USE_DUAL_STACK_ENDPOINT=false AWS_USE_FIPS_ENDPOINT=false ``` ### Possible Solution _No response_ ### Additional Information/Context The specific error `Host override cannot be combined with Dualstack, FIPS, or S3 Accelerate` does not appear to be common but has recently been reported with aws cli on stackoverflow indicating it may actually result from a more recent change on AWS/S3 side of things. ### SDK version used 3.243.0 ### Environment details (Version of PHP (`php -v`)? OS name and version, etc.) php 8.0.12, laravel/framerwork ^9.0, league/flysystem-aws-s3-v3 ^3.0, aws/aws-sdk-php ^3.243.0

¿Quizás S3_REGION debería borrarse si se establece un endpoint aquí?

github.com/discourse/discourse

lib/file_store/to_s3_migration.rb

main


      
                  - DISCOURSE_S3_REGION
                  and either
                  - DISCOURSE_S3_ACCESS_KEY_ID
                  - DISCOURSE_S3_SECRET_ACCESS_KEY
                  or
                  - DISCOURSE_S3_USE_IAM_PROFILE
              TEXT
            end
          
            opts = { region: ENV["DISCOURSE_S3_REGION"] }
            opts[:endpoint] = ENV["DISCOURSE_S3_ENDPOINT"] if ENV["DISCOURSE_S3_ENDPOINT"].present?
          
            if ENV["DISCOURSE_S3_USE_IAM_PROFILE"].blank?
              opts[:access_key_id] = ENV["DISCOURSE_S3_ACCESS_KEY_ID"]
              opts[:secret_access_key] = ENV["DISCOURSE_S3_SECRET_ACCESS_KEY"]
            end
          
            { client_options: opts, bucket: ENV["DISCOURSE_S3_BUCKET"] }
          end
          
          def migrate

EDIT: Oops. Pensé que había buscado. Perdón, Falco.

pfaffman · 7 Noviembre, 2024 19:40

Extrañamente, eso me da este error:

Gem::LoadError: no se puede activar webrick-1.9.0, ya está activado webrick-1.8.2 (Gem::LoadError)

que acababa de ver en una instancia que estaba usando para ejecutar una importación, que “solucioné” actualizando.

Supongo que simplemente no puedo actualizar este servidor ahora mismo.

Don · 7 Noviembre, 2024 19:48

No estoy seguro, pero tal vez valga la pena intentarlo. Ya he reconstruido con éxito antes de hacer esto.

Y justo después de esto, intenté reconstruir seleccionando el commit. La segunda vez, la reconstrucción se ejecutó con éxito.

Falco · 7 Noviembre, 2024 20:14

@martin normalmente lo que hacemos aquí es proporcionar una Configuración Global para deshabilitar el comportamiento que las personas que ejecutan clones S3 incompatibles pueden habilitar para que funcione.

En mi opinión, el comportamiento actual debería seguir siendo el predeterminado, pero proporcionar interruptores para aumentar la compatibilidad.

Ver ejemplos anteriores en DISCOURSE_S3_HTTP_CONTINUE_TIMEOUT, DISCOURSE_S3_INSTALL_CORS_RULE, etc.

martin · 8 Noviembre, 2024 00:13

Ah, lo siento, fue mi error. Estos clones de S3 siempre se me escapan. De hecho, ayer tuve que solucionar este problema del endpoint personalizado con Minio. Creo que la solución aquí puede ser simplemente no usar nunca dualstack si se ha establecido DISCOURSE_S3_ENDPOINT, ya que son incompatibles, y todo el mundo aquí parece estar usándolo.

martin · 8 Noviembre, 2024 01:13

Ya fusioné una corrección para esto:

github.com/discourse/discourse

FIX: S3 custom endpoint incompatible with dualstack

main ← issue/fix-s3-endpoint-dualstack

opened 12:41AM - 08 Nov 24 UTC

martin-brennan

+22 -5

Followup 0568d36133081e52f25f05585c1a568c3b828d79 S3 itself and other S3-comp…atible providers do not allow using an S3 custom endpoint and dualstack at the same time, so this commit fixes that by not using dualstack when the endpoint is present. c.f. https://meta.discourse.org/t/rebuild-issue-cannot-set-dual-stack-in-combination-with-a-custom-endpoint/334902

pfaffman · 8 Noviembre, 2024 16:03

¡Gracias por la rápida solución! He vuelto al negocio.

¡Gracias por la lúcida explicación, Rafael!

¡Eso es porque hay muchas cosas que tener en cuenta! Y las pruebas de especificación, creo, requerirían esas molestas stub_request que sé que odio escribir.

Para que lo sepas, eso me parece correcto. Y probablemente podrías escribir pruebas para eso que no requirieran stubs para stub_request.

nat · 13 Noviembre, 2024 05:49

10 publicaciones se dividieron en un nuevo tema: No se puede hacer copia de seguridad ni navegar a las copias de seguridad

merefield · 13 Noviembre, 2024 11:29

No creo que esto deba marcarse como fixed.

Este cambio muy probablemente ha causado un fallo en las copias de seguridad en varias instancias (y es de suponer que otros no saben que sus instancias no se están respaldando todavía).

Eso me sugiere que las especificaciones no son lo suficientemente amplias para capturar todos los casos de uso reales y que se están aprobando cambios que no deberían haberlo hecho.

pfaffman · 14 Noviembre, 2024 17:01

Me parece que está arreglado solo para sitios que tienen use_s3 activado, pero no para aquellos que usan S3 solo para copias de seguridad.

Aunque es posible reconstruir de nuevo, simplemente las copias de seguridad de S3 están rotas.

martin · 15 Noviembre, 2024 04:41

El problema de la copia de seguridad se soluciona aquí Unable to backup or navigate to backups - #20 by martin

j.jaffeux · 18 Noviembre, 2024 04:42

Este tema se cerró automáticamente 3 días después de la última respuesta. Ya no se permiten nuevas respuestas.

Tema		Respuestas	Vistas
Setting DISCOURSE_S3_REGION: whatever no longer works Bug	2	55	7 Noviembre 2024
Unable to backup or navigate to backups Bug s3	23	243	18 Noviembre 2024
Rake uploads:migrate_to_s3 error Installation s3	8	797	6 Enero 2020
Configure an S3 compatible object storage provider for uploads Self-Hosting cdn , configuring , how-to , reference	265	43455	19 Noviembre 2025
Can't rebuild due to AWS SDK gem bump and new AWS Data Integrity Protections Installation	53	948	4 Noviembre 2025

Problema al reconstruir: [No se puede establecer dual-stack en combinación con un endpoint personalizado]

Temas relacionados