Problème de reconstruction : [Impossible de définir le dual-stack en combinaison avec un endpoint personnalisé.]

Don · Novembre 7, 2024, 8:13

Bonjour

Impossible de reconstruire avec le problème suivant.

I, [2024-11-07T08:00:56.758061 #1]  INFO -- : cd /var/www/discourse & sudo -E -u discourse bundle exec rake s3:upload_assets
rake aborted!
ArgumentError: Impossible de définir le double-stack en combinaison avec un point de terminaison personnalisé. (ArgumentError)

          raise ArgumentError, "Cannot set dual-stack in combination with a custom endpoint."
                ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

FAILED

--------------------

Pups::ExecError: cd /var/www/discourse & sudo -E -u discourse bundle exec rake s3:upload_assets a échoué avec le retour #<Process::Status: pid 3349 exit 1>

Emplacement de l'échec : /usr/local/lib/ruby/gems/3.3.0/gems/pups-1.2.1/lib/pups/exec_command.rb:132:in `spawn'

exec a échoué avec les paramètres {"cd"=>"$home", "cmd"=>["sudo -E -u discourse bundle exec rake s3:upload_assets", "sudo -E -u discourse bundle exec rake s3:expire_missing_assets"]}

bootstrap a échoué avec le code de sortie 1

**ÉCHEC DU BOOTSTRAP** veuillez faire défiler vers le haut et rechercher les messages d'erreur précédents, il peut y en avoir plus d'un.

./discourse-doctor peut aider à diagnostiquer le problème.

567dc9e1f9a4e662de6024b8504915d8b6ef1ee2d9b4303af75323ba478679e4

Commit probablement lié : FIX: Use dualstack S3 endpoint for direct uploads (#29611) · discourse/discourse@0568d36 · GitHub

J’utilise stockage d’objets S3 pour télécharger vers DO Spaces. Le problème vient probablement de là.

Discourse:

Configuration

Pour stocker les actifs statiques de Discourse dans votre stockage d’objets, ajoutez cette configuration dans votre app.yml sous la section hooks :
  after_assets_precompile:
    - exec:
        cd: $home
        cmd:
          - sudo -E -u discourse bundle exec rake s3:upload_assets
          - sudo -E -u discourse bundle exec rake s3:expire_missing_assets

Merci

Don · Novembre 7, 2024, 9:35

J’ai commenté ces lignes, ce qui permet à la reconstruction de s’exécuter avec succès, mais le site reste bloqué sur l’écran de démarrage, je pense parce qu’il ne peut pas charger les ressources. Le mode sans échec pareil…

  after_assets_precompile:
    - exec:
        cd: $home
        cmd:
          - sudo -E -u discourse bundle exec rake s3:upload_assets
          - sudo -E -u discourse bundle exec rake s3:expire_missing_assets

Des idées ? Je sais que c’est un mauvais moment…

nat · Novembre 7, 2024, 9:44

Salut Don, nous allons examiner ça. Merci de nous avoir signalé le problème.

Don · Novembre 7, 2024, 10:33

Merci Natalie

Pour un rapide correctif, j’ai reconstruit avec la version cc01555fce59e116b76c912b4c5195e111a652b2, qui est un commit derrière ceci FIX: Use dualstack S3 endpoint for direct uploads (#29611) · discourse/discourse@0568d36 · GitHub

pfaffman · Novembre 7, 2024, 7:24

Ma reconstruction avec une configuration Digital Ocean Spaces S3 a commencé à échouer avec cette erreur :

, [2024-11-07T19:09:38.615466 #1]  INFO -- : cd /var/www/discourse & sudo -E -u discourse bundle exec rake s3:upload_assets
rake aborted!
ArgumentError: Cannot set dual-stack in combination with a custom endpoint. (ArgumentError)
          raise ArgumentError, "Cannot set dual-stack in combination with a custom endpoint."
                ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-s3-1.143.0/lib/aws-sdk-s3/endpoint_provider.rb:34:in `resolve_endpoint'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-s3-1.143.0/lib/aws-sdk-s3/plugins/endpoints.rb:37:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/seahorse/client/plugins/endpoint.rb:47:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/plugins/param_validator.rb:26:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-s3-1.143.0/lib/aws-sdk-s3/plugins/sse_cpk.rb:24:in `call'

Mais omettre de le définir sur whatever fait échouer la construction comme ceci :


I, [2024-11-07T19:15:31.060936 #1]  INFO -- : cd /var/www/discourse & sudo -E -u discourse bundle exec rake s3:upload_assets
ERROR: Ensure S3 is configured in config/discourse.conf or environment vars
I, [2024-11-07T19:15:36.056204 #1]  INFO -- :

J’ai trouvé ceci :

github.com/hashicorp/terraform-provider-aws

Correctly ignore `use_dualstack_endpoint` when using custom service endpoint regardless of source of either setting

opened 06:43AM - 07 Jun 24 UTC

gdavison

bug

### Description The `use_dualstack_endpoint` parameter instructs the AWS SDK en…dpoint resolver to return a dual-stack endpoint. If a custom endpoint is configured for a service, the resolver returns an error. When a custom endpoint is supplied for a service, the value of `use_dualstack_endpoint` must be ignored. Test the following combinations: * Use dual-stack endpoint set on the provider, shared configuration file, or environment variable * No custom endpoint (returns default dual-stack endpoint), custom endpoint set on the provider, shared configuration file, or environment variable, base endpoint set in shared configuration file or environment variable (#32649 suggests adding base endpoint configuration on the provider) ### References See #37876 for the equivalent issue with FIPS endpoints ### Would you like to implement a fix? None

et ceci :

github.com/aws/aws-sdk-php

After 3.243.0 Host override cannot be combined with Dualstack, FIPS, or S3 Accelerate

opened 02:01PM - 04 Jan 23 UTC

closed 05:24PM - 05 Jan 23 UTC

kerkness

guidance response-requested

### Describe the bug After the update to version 3.243.0 and I think the start …of using Aws\EndpointV2 it would appear that the option for `use_dual_stack_endpoint` and possibly `use_fips_endpoint` are always true. This prevents multipart uploads which use accelerator and any writes that use accelerator with possible other issues as a result. When tracing through the updates made in 3.243.0 and subsequent updates I was unable to determine where the options are actually being set to true, or if the default behavior for these options is being assumed as true on the AWS end and explicitly setting them to false is being ignored. I am using Laravel 9 with league/flysystem-aws-s3-v3 but the issue appears to be isolated with changes starting with aws-sdk-php v3.243.0 and later. Explicitly setting `"aws/aws-sdk-php": "3.242.1"` in composer resolves the issue ### Expected Behavior Default values for `use_dual_stack_endpoint` and `use_fips_endpoint` is false. Setting env variables `AWS_USE_DUAL_STACK_ENDPOINT` and `AWS_USE_FIPS_ENDPOINT` to false is respected. ### Current Behavior Default values for `use_dual_stack_endpoint` and `use_fips_endpoint` appears to be true. Setting env variables `AWS_USE_DUAL_STACK_ENDPOINT` and `AWS_USE_FIPS_ENDPOINT` to false is ignored. ### Reproduction Steps Create an S3 client with default Laravel S3 config and create a multipart upload ``` $client = Storage::disk('s3')->getClient(); $result = $client->createMultipartUpload([ 'Bucket' => $bucket, 'Key' => $key, 'ContentType' => $type, 'ContentDisposition' => 'inline', ]); ``` Results in error `Host override cannot be combined with Dualstack, FIPS, or S3 Accelerate` Environment variables used ``` AWS_ACCESS_KEY_ID=***** AWS_SECRET_ACCESS_KEY=***** AWS_DEFAULT_REGION=ca-central-1 AWS_BUCKET=my-bucket-name AWS_URL="https://s3.amazonaws.com" AWS_POST_END_POINT="https://${AWS_BUCKET}.s3.amazonaws.com/" AWS_USE_PATH_STYLE_ENDPOINT=false AWS_USE_ACCELERATE_ENDPOINT=true AWS_USE_DUAL_STACK_ENDPOINT=false AWS_USE_FIPS_ENDPOINT=false ``` ### Possible Solution _No response_ ### Additional Information/Context The specific error `Host override cannot be combined with Dualstack, FIPS, or S3 Accelerate` does not appear to be common but has recently been reported with aws cli on stackoverflow indicating it may actually result from a more recent change on AWS/S3 side of things. ### SDK version used 3.243.0 ### Environment details (Version of PHP (`php -v`)? OS name and version, etc.) php 8.0.12, laravel/framerwork ^9.0, league/flysystem-aws-s3-v3 ^3.0, aws/aws-sdk-php ^3.243.0

Peut-être que S3_REGION devrait être effacé si un endpoint est défini ici ?

github.com/discourse/discourse

lib/file_store/to_s3_migration.rb

main


      
                  - DISCOURSE_S3_REGION
                  and either
                  - DISCOURSE_S3_ACCESS_KEY_ID
                  - DISCOURSE_S3_SECRET_ACCESS_KEY
                  or
                  - DISCOURSE_S3_USE_IAM_PROFILE
              TEXT
            end
          
            opts = { region: ENV["DISCOURSE_S3_REGION"] }
            opts[:endpoint] = ENV["DISCOURSE_S3_ENDPOINT"] if ENV["DISCOURSE_S3_ENDPOINT"].present?
          
            if ENV["DISCOURSE_S3_USE_IAM_PROFILE"].blank?
              opts[:access_key_id] = ENV["DISCOURSE_S3_ACCESS_KEY_ID"]
              opts[:secret_access_key] = ENV["DISCOURSE_S3_SECRET_ACCESS_KEY"]
            end
          
            { client_options: opts, bucket: ENV["DISCOURSE_S3_BUCKET"] }
          end
          
          def migrate

EDIT : Oups. Je pensais avoir cherché. Désolé Falco.

pfaffman · Novembre 7, 2024, 7:40

Étrangement, cela me donne cette erreur :

Gem::LoadError : impossible d'activer webrick-1.9.0, webrick-1.8.2 déjà activé (Gem::LoadError)

que je venais de voir sur une instance que j’utilisais pour exécuter une importation, que j’ai « corrigée » en mettant à niveau.

Je suppose que je ne peux tout simplement pas mettre à niveau ce serveur pour le moment.

Don · Novembre 7, 2024, 7:48

Je ne suis pas sûr, mais cela vaut peut-être la peine d’essayer. J’ai déjà réussi une reconstruction avant cela.

Et juste après cela, j’ai essayé de reconstruire en choisissant le commit. La deuxième fois, la reconstruction s’est déroulée avec succès.

Falco · Novembre 7, 2024, 8:14

@martin, ce que nous faisons habituellement ici est de fournir un GlobalSetting pour désactiver le comportement qui permet aux personnes exécutant des clones S3 incompatibles de l’activer pour que cela fonctionne.

À mon avis, le comportement actuel devrait rester par défaut, mais des options devraient être fournies pour augmenter la compatibilité.

Voir des exemples similaires dans DISCOURSE_S3_HTTP_CONTINUE_TIMEOUT, DISCOURSE_S3_INSTALL_CORS_RULE, etc.

martin · Novembre 8, 2024, 12:13

Ah désolé, c’est de ma faute à tous, ces clones S3 me sortent toujours de la tête. J’ai dû corriger ce problème de point de terminaison personnalisé avec Minio hier. Je pense que la correction ici consiste simplement à ne jamais utiliser dualstack si DISCOURSE_S3_ENDPOINT a été défini puisqu’ils sont incompatibles, et tout le monde ici l’utilise apparemment.

martin · Novembre 8, 2024, 1:13

J’ai fusionné un correctif pour cela maintenant :

github.com/discourse/discourse

FIX: S3 custom endpoint incompatible with dualstack

main ← issue/fix-s3-endpoint-dualstack

opened 12:41AM - 08 Nov 24 UTC

martin-brennan

+22 -5

Followup 0568d36133081e52f25f05585c1a568c3b828d79 S3 itself and other S3-comp…atible providers do not allow using an S3 custom endpoint and dualstack at the same time, so this commit fixes that by not using dualstack when the endpoint is present. c.f. https://meta.discourse.org/t/rebuild-issue-cannot-set-dual-stack-in-combination-with-a-custom-endpoint/334902

pfaffman · Novembre 8, 2024, 4:03

Merci pour le correctif rapide ! Je suis de retour en affaires.

Merci pour l’explication claire, Rafael !

C’est parce qu’il y a beaucoup de choses à garder à l’esprit ! Et les tests de spécification, je pense, nécessiteraient ces stub_request ennuyeux que je sais détester écrire.

Pour information, cela me semble correct. Et vous pourriez probablement écrire des tests pour cela qui ne nécessiteraient pas de stubs pour stub_request.

nat · Novembre 13, 2024, 5:49

10 messages ont été déplacés vers un nouveau sujet : Impossible de sauvegarder ou d’accéder aux sauvegardes

merefield · Novembre 13, 2024, 11:29

Je ne pense pas que cela devrait être marqué comme fixed.

Ce changement a très probablement provoqué une interruption des sauvegardes sur plusieurs instances (d’autres ne sachant pas que leurs instances ne sauvegardent pas encore, présumablement).

Cela me suggère que les spécifications ne sont pas assez larges pour capturer tous les cas d’utilisation réels et que des changements sont passés alors qu’ils n’auraient pas dû ?

pfaffman · Novembre 14, 2024, 5:01

Il me semble que cela est corrigé uniquement pour les sites où use_s3 est activé, mais pas pour ceux qui utilisent S3 uniquement pour les sauvegardes.

Bien qu’il soit à nouveau possible de reconstruire, c’est juste que les sauvegardes S3 sont cassées.

martin · Novembre 15, 2024, 4:41

Le problème de sauvegarde est résolu ici Unable to backup or navigate to backups - #20 by martin

j.jaffeux · Novembre 18, 2024, 4:42

Ce sujet a été automatiquement fermé 3 jours après la dernière réponse. Les nouvelles réponses ne sont plus autorisées.

Sujet		Réponses	Vues
Setting DISCOURSE_S3_REGION: whatever no longer works Bug	2	55	Novembre 7, 2024
Unable to backup or navigate to backups Bug s3	23	242	Novembre 18, 2024
Rake uploads:migrate_to_s3 error Installation s3	8	789	Janvier 6, 2020
Configure an S3 compatible object storage provider for uploads Self-Hosting cdn , configuring , how-to , reference	265	43405	Novembre 19, 2025
Can't rebuild due to AWS SDK gem bump and new AWS Data Integrity Protections Installation	53	940	Novembre 4, 2025

Problème de reconstruction : [Impossible de définir le dual-stack en combinaison avec un endpoint personnalisé.]

Sujets connexes