Problema di ricostruzione: [Impossibile impostare dual-stack in combinazione con un endpoint personalizzato.]

Don · 7 Novembre 2024, 8:13am

Ciao

Impossibile ricompilare con il seguente problema.

I, [2024-11-07T08:00:56.758061 #1]  INFO -- : cd /var/www/discourse & sudo -E -u discourse bundle exec rake s3:upload_assets
rake aborted!
ArgumentError: Cannot set dual-stack in combination with a custom endpoint. (ArgumentError)

          raise ArgumentError, "Cannot set dual-stack in combination with a custom endpoint."
                ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

FAILED

--------------------

Pups::ExecError: cd /var/www/discourse & sudo -E -u discourse bundle exec rake s3:upload_assets failed with return #<Process::Status: pid 3349 exit 1>

Location of failure: /usr/local/lib/ruby/gems/3.3.0/gems/pups-1.2.1/lib/pups/exec_command.rb:132:in `spawn'

exec failed with the params {"cd"=>"$home", "cmd"=>["sudo -E -u discourse bundle exec rake s3:upload_assets", "sudo -E -u discourse bundle exec rake s3:expire_missing_assets"]}

bootstrap failed with exit code 1

** FAILED TO BOOTSTRAP ** please scroll up and look for earlier error messages, there may be more than one.

./discourse-doctor may help diagnose the problem.

567dc9e1f9a4e662de6024b8504915d8b6ef1ee2d9b4303af75323ba478679e4

Probabilmente correlato al commit: FIX: Use dualstack S3 endpoint for direct uploads (#29611) · discourse/discourse@0568d36 · GitHub

Utilizzo S3 object storage per caricare su DO Spaces. Il problema è probabilmente correlato a questo.

Discourse:

Configuration

In order to store Discourse static assets in your Object Storage add this configuration on your app.yml under the hooks section:
  after_assets_precompile:
    - exec:
        cd: $home
        cmd:
          - sudo -E -u discourse bundle exec rake s3:upload_assets
          - sudo -E -u discourse bundle exec rake s3:expire_missing_assets

Grazie

Don · 7 Novembre 2024, 9:35am

Ho commentato queste righe che fanno sì che la ricompilazione venga eseguita con successo, ma il sito si blocca sulla schermata iniziale, penso perché non riesce a caricare gli asset. Anche la modalità sicura è la stessa…

  after_assets_precompile:
    - exec:
        cd: $home
        cmd:
          - sudo -E -u discourse bundle exec rake s3:upload_assets
          - sudo -E -u discourse bundle exec rake s3:expire_missing_assets

Qualche idea? So che è un brutto momento…

nat · 7 Novembre 2024, 9:44am

Ciao Don, ci daremo un’occhiata. Grazie per la segnalazione.

Don · 7 Novembre 2024, 10:33am

Grazie Natalie

Per una correzione rapida ho ricostruito con la versione cc01555fce59e116b76c912b4c5195e111a652b2, che è un commit dietro questo FIX: Use dualstack S3 endpoint for direct uploads (#29611) · discourse/discourse@0568d36 · GitHub

pfaffman · 7 Novembre 2024, 7:24pm

La mia ricostruzione con una configurazione Digital Ocean Spaces S3 ha iniziato a fallire con questo errore:

, [2024-11-07T19:09:38.615466 #1]  INFO -- : cd /var/www/discourse & sudo -E -u discourse bundle exec rake s3:upload_assets
rake aborted!
ArgumentError: Cannot set dual-stack in combination with a custom endpoint. (ArgumentError)
          raise ArgumentError, "Cannot set dual-stack in combination with a custom endpoint."
                ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-s3-1.143.0/lib/aws-sdk-s3/endpoint_provider.rb:34:in `resolve_endpoint'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-s3-1.143.0/lib/aws-sdk-s3/plugins/endpoints.rb:37:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/seahorse/client/plugins/endpoint.rb:47:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/plugins/param_validator.rb:26:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-s3-1.143.0/lib/aws-sdk-s3/plugins/sse_cpk.rb:24:in `call'

Ma omettendo l’impostazione su whatever fa fallire la build in questo modo:

I, [2024-11-07T19:15:31.060936 #1]  INFO -- : cd /var/www/discourse & sudo -E -u discourse bundle exec rake s3:upload_assets
ERROR: Ensure S3 is configured in config/discourse.conf or environment vars
I, [2024-11-07T19:15:36.056204 #1]  INFO -- :

Ho trovato questo:

github.com/hashicorp/terraform-provider-aws

Correctly ignore `use_dualstack_endpoint` when using custom service endpoint regardless of source of either setting

opened 06:43AM - 07 Jun 24 UTC

gdavison

bug

### Description The `use_dualstack_endpoint` parameter instructs the AWS SDK en…dpoint resolver to return a dual-stack endpoint. If a custom endpoint is configured for a service, the resolver returns an error. When a custom endpoint is supplied for a service, the value of `use_dualstack_endpoint` must be ignored. Test the following combinations: * Use dual-stack endpoint set on the provider, shared configuration file, or environment variable * No custom endpoint (returns default dual-stack endpoint), custom endpoint set on the provider, shared configuration file, or environment variable, base endpoint set in shared configuration file or environment variable (#32649 suggests adding base endpoint configuration on the provider) ### References See #37876 for the equivalent issue with FIPS endpoints ### Would you like to implement a fix? None

e questo:

github.com/aws/aws-sdk-php

After 3.243.0 Host override cannot be combined with Dualstack, FIPS, or S3 Accelerate

opened 02:01PM - 04 Jan 23 UTC

closed 05:24PM - 05 Jan 23 UTC

kerkness

guidance response-requested

### Describe the bug After the update to version 3.243.0 and I think the start …of using Aws\EndpointV2 it would appear that the option for `use_dual_stack_endpoint` and possibly `use_fips_endpoint` are always true. This prevents multipart uploads which use accelerator and any writes that use accelerator with possible other issues as a result. When tracing through the updates made in 3.243.0 and subsequent updates I was unable to determine where the options are actually being set to true, or if the default behavior for these options is being assumed as true on the AWS end and explicitly setting them to false is being ignored. I am using Laravel 9 with league/flysystem-aws-s3-v3 but the issue appears to be isolated with changes starting with aws-sdk-php v3.243.0 and later. Explicitly setting `"aws/aws-sdk-php": "3.242.1"` in composer resolves the issue ### Expected Behavior Default values for `use_dual_stack_endpoint` and `use_fips_endpoint` is false. Setting env variables `AWS_USE_DUAL_STACK_ENDPOINT` and `AWS_USE_FIPS_ENDPOINT` to false is respected. ### Current Behavior Default values for `use_dual_stack_endpoint` and `use_fips_endpoint` appears to be true. Setting env variables `AWS_USE_DUAL_STACK_ENDPOINT` and `AWS_USE_FIPS_ENDPOINT` to false is ignored. ### Reproduction Steps Create an S3 client with default Laravel S3 config and create a multipart upload ``` $client = Storage::disk('s3')->getClient(); $result = $client->createMultipartUpload([ 'Bucket' => $bucket, 'Key' => $key, 'ContentType' => $type, 'ContentDisposition' => 'inline', ]); ``` Results in error `Host override cannot be combined with Dualstack, FIPS, or S3 Accelerate` Environment variables used ``` AWS_ACCESS_KEY_ID=***** AWS_SECRET_ACCESS_KEY=***** AWS_DEFAULT_REGION=ca-central-1 AWS_BUCKET=my-bucket-name AWS_URL="https://s3.amazonaws.com" AWS_POST_END_POINT="https://${AWS_BUCKET}.s3.amazonaws.com/" AWS_USE_PATH_STYLE_ENDPOINT=false AWS_USE_ACCELERATE_ENDPOINT=true AWS_USE_DUAL_STACK_ENDPOINT=false AWS_USE_FIPS_ENDPOINT=false ``` ### Possible Solution _No response_ ### Additional Information/Context The specific error `Host override cannot be combined with Dualstack, FIPS, or S3 Accelerate` does not appear to be common but has recently been reported with aws cli on stackoverflow indicating it may actually result from a more recent change on AWS/S3 side of things. ### SDK version used 3.243.0 ### Environment details (Version of PHP (`php -v`)? OS name and version, etc.) php 8.0.12, laravel/framerwork ^9.0, league/flysystem-aws-s3-v3 ^3.0, aws/aws-sdk-php ^3.243.0

Forse S3_REGION dovrebbe essere cancellato se viene impostato un endpoint qui?

github.com/discourse/discourse

lib/file_store/to_s3_migration.rb

main


      
                  - DISCOURSE_S3_REGION
                  and either
                  - DISCOURSE_S3_ACCESS_KEY_ID
                  - DISCOURSE_S3_SECRET_ACCESS_KEY
                  or
                  - DISCOURSE_S3_USE_IAM_PROFILE
              TEXT
            end
          
            opts = { region: ENV["DISCOURSE_S3_REGION"] }
            opts[:endpoint] = ENV["DISCOURSE_S3_ENDPOINT"] if ENV["DISCOURSE_S3_ENDPOINT"].present?
          
            if ENV["DISCOURSE_S3_USE_IAM_PROFILE"].blank?
              opts[:access_key_id] = ENV["DISCOURSE_S3_ACCESS_KEY_ID"]
              opts[:secret_access_key] = ENV["DISCOURSE_S3_SECRET_ACCESS_KEY"]
            end
          
            { client_options: opts, bucket: ENV["DISCOURSE_S3_BUCKET"] }
          end
          
          def migrate

EDIT: Ops. Pensavo di aver cercato. Scusa Falco.

pfaffman · 7 Novembre 2024, 7:40pm

Stranamente, questo mi dà questo errore:

Gem::LoadError: can't activate webrick-1.9.0, already activated webrick-1.8.2 (Gem::LoadError)

che avevo appena visto su un’istanza che stavo usando per eseguire un’importazione, che ho “risolto” aggiornando.

Suppongo che non possa aggiornare questo server in questo momento.

Don · 7 Novembre 2024, 7:48pm

Non sono sicuro, ma forse vale la pena provare. Ho già eseguito una ricostruzione con successo prima di questo.

E subito dopo ho provato a ricostruire selezionando il commit. La seconda volta l’esecuzione della ricostruzione è andata a buon fine.

Falco · 7 Novembre 2024, 8:14pm

@martin di solito quello che facciamo qui è fornire un GlobalSetting per disabilitare il comportamento che le persone che eseguono cloni S3 incompatibili possono quindi scegliere di abilitarlo per farlo funzionare.

Secondo me, il comportamento attuale dovrebbe rimanere come impostazione predefinita, ma fornire interruttori per aumentare la compatibilità.

Vedi arte precedente in DISCOURSE_S3_HTTP_CONTINUE_TIMEOUT, DISCOURSE_S3_INSTALL_CORS_RULE, ecc.

martin · 8 Novembre 2024, 12:13am

Ah scusate, colpa mia. Questi cloni S3 mi sfuggono sempre. Ieri ho dovuto correggere questo problema dell’endpoint personalizzato con Minio. Penso che la soluzione qui possa essere semplicemente non usare mai dualstack se è stato impostato DISCOURSE_S3_ENDPOINT poiché sono incompatibili, e tutti qui lo stanno apparentemente usando.

martin · 8 Novembre 2024, 1:13am

Ho unito una correzione per questo ora:

github.com/discourse/discourse

FIX: S3 custom endpoint incompatible with dualstack

main ← issue/fix-s3-endpoint-dualstack

opened 12:41AM - 08 Nov 24 UTC

martin-brennan

+22 -5

Followup 0568d36133081e52f25f05585c1a568c3b828d79 S3 itself and other S3-comp…atible providers do not allow using an S3 custom endpoint and dualstack at the same time, so this commit fixes that by not using dualstack when the endpoint is present. c.f. https://meta.discourse.org/t/rebuild-issue-cannot-set-dual-stack-in-combination-with-a-custom-endpoint/334902

pfaffman · 8 Novembre 2024, 4:03pm

Grazie per la rapida correzione! Sono di nuovo operativo.

Grazie per la chiara spiegazione, Rafael!

Questo perché c’è un sacco di roba da tenere a mente! E i test di specifica, penso, richiederebbero quei fastidiosi stub_request che so che odio scrivere.

Per la cronaca, mi sembra giusto. E probabilmente potresti scrivere test per quello che non richiedono stub per stub_request.

nat · 13 Novembre 2024, 5:49am

10 messaggi sono stati spostati in un nuovo argomento: Impossibile eseguire il backup o navigare nei backup

merefield · 13 Novembre 2024, 11:29am

Non credo che questo debba essere contrassegnato come fixed.

Questa modifica ha molto probabilmente causato un’interruzione dei backup su diverse istanze (con altri che presumibilmente non sanno ancora che le loro istanze non vengono sottoposte a backup).

Ciò suggerisce che le specifiche non sono abbastanza ampie da catturare tutti i casi d’uso reali e che le modifiche stanno passando quando non dovrebbero?

pfaffman · 14 Novembre 2024, 5:01pm

Mi sembra che sia stato corretto solo per i siti che hanno use_s3 attivato, ma non per quelli che usano S3 solo per i backup.

Anche se è di nuovo possibile ricostruire, è solo che i backup S3 sono rotti.

martin · 15 Novembre 2024, 4:41am

Il problema del backup è risolto qui Unable to backup or navigate to backups - #20 by martin

j.jaffeux · 18 Novembre 2024, 4:42am

Questo argomento è stato chiuso automaticamente 3 giorni dopo l’ultima risposta. Non sono più consentite nuove risposte.

Argomento		Risposte	Visualizzazioni
Setting DISCOURSE_S3_REGION: whatever no longer works Bug	2	55	Novembre 7, 2024
Unable to backup or navigate to backups Bug s3	23	243	Novembre 18, 2024
Rake uploads:migrate_to_s3 error Installation s3	8	789	Gennaio 6, 2020
Configure an S3 compatible object storage provider for uploads Self-Hosting cdn , configuring , how-to , reference	265	43422	Novembre 19, 2025
Can't rebuild due to AWS SDK gem bump and new AWS Data Integrity Protections Installation	53	944	Novembre 4, 2025

Problema di ricostruzione: [Impossibile impostare dual-stack in combinazione con un endpoint personalizzato.]

Argomenti correlati