Wiederherstellungsproblem: [Kann Dual-Stack nicht in Kombination mit einem benutzerdefinierten Endpunkt festlegen.]

Don · 7. November 2024 um 08:13

Hallo

Kann mit folgendem Problem nicht neu erstellen.

I, [2024-11-07T08:00:56.758061 #1]  INFO -- : cd /var/www/discourse & sudo -E -u discourse bundle exec rake s3:upload_assets
rake aborted!
ArgumentError: Cannot set dual-stack in combination with a custom endpoint. (ArgumentError)

          raise ArgumentError, "Cannot set dual-stack in combination with a custom endpoint."
                ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

FAILED

--------------------

Pups::ExecError: cd /var/www/discourse & sudo -E -u discourse bundle exec rake s3:upload_assets failed with return #<Process::Status: pid 3349 exit 1>

Location of failure: /usr/local/lib/ruby/gems/3.3.0/gems/pups-1.2.1/lib/pups/exec_command.rb:132:in `spawn'

exec failed with the params {"cd"=>"$home", "cmd"=>["sudo -E -u discourse bundle exec rake s3:upload_assets", "sudo -E -u discourse bundle exec rake s3:expire_missing_assets"]}

bootstrap failed with exit code 1

** FAILED TO BOOTSTRAP ** please scroll up and look for earlier error messages, there may be more than one.

./discourse-doctor may help diagnose the problem.

567dc9e1f9a4e662de6024b8504915d8b6ef1ee2d9b4303af75323ba478679e4

Wahrscheinlich damit verbundener Commit: FIX: Use dualstack S3 endpoint for direct uploads (#29611) · discourse/discourse@0568d36 · GitHub

Ich verwende S3-Objektspeicher zum Hochladen auf DO Spaces. Das Problem liegt wahrscheinlich hier.

Discourse:

Konfiguration

Um Discourse-statische Assets in Ihrem Objektspeicher zu speichern, fügen Sie diese Konfiguration in Ihrer app.yml unter dem Abschnitt hooks hinzu:
  after_assets_precompile:
    - exec:
        cd: $home
        cmd:
          - sudo -E -u discourse bundle exec rake s3:upload_assets
          - sudo -E -u discourse bundle exec rake s3:expire_missing_assets

Danke

Don · 7. November 2024 um 09:35

Ich habe diese Zeilen auskommentiert, was dazu führt, dass der Rebuild erfolgreich durchläuft, die Seite aber beim Splash hängen bleibt, wahrscheinlich weil die Assets nicht geladen werden können. Sicherer Modus dasselbe…

  after_assets_precompile:
    - exec:
        cd: $home
        cmd:
          - sudo -E -u discourse bundle exec rake s3:upload_assets
          - sudo -E -u discourse bundle exec rake s3:expire_missing_assets

Irgendwelche Ideen? Ich weiß, es ist ein schlechter Zeitpunkt…

nat · 7. November 2024 um 09:44

Hallo Don, wir werden uns das ansehen. Danke für die Meldung.

Don · 7. November 2024 um 10:33

Danke Natalie

Als schnelle Lösung habe ich mit der Version cc01555fce59e116b76c912b4c5195e111a652b2 neu erstellt, die einen Commit hinter diesem liegt: FIX: Use dualstack S3 endpoint for direct uploads (#29611) · discourse/discourse@0568d36 · GitHub

pfaffman · 7. November 2024 um 19:24

Mein Rebuild mit einem Digital Ocean Spaces S3-Setup schlug mit diesem Fehler fehl:

, [2024-11-07T19:09:38.615466 #1]  INFO -- : cd /var/www/discourse & sudo -E -u discourse bundle exec rake s3:upload_assets
rake aborted!
ArgumentError: Cannot set dual-stack in combination with a custom endpoint. (ArgumentError)
          raise ArgumentError, "Cannot set dual-stack in combination with a custom endpoint."
                ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-s3-1.143.0/lib/aws-sdk-s3/endpoint_provider.rb:34:in `resolve_endpoint'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-s3-1.143.0/lib/aws-sdk-s3/plugins/endpoints.rb:37:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/seahorse/client/plugins/endpoint.rb:47:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/plugins/param_validator.rb:26:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-s3-1.143.0/lib/aws-sdk-s3/plugins/sse_cpk.rb:24:in `call'

Aber wenn ich es weglasse und auf whatever setze, schlägt der Build wie folgt fehl:


I, [2024-11-07T19:15:31.060936 #1]  INFO -- : cd /var/www/discourse & sudo -E -u discourse bundle exec rake s3:upload_assets
ERROR: Ensure S3 is configured in config/discourse.conf or environment vars
I, [2024-11-07T19:15:36.056204 #1]  INFO -- :

Ich habe das hier gefunden:

github.com/hashicorp/terraform-provider-aws

Correctly ignore `use_dualstack_endpoint` when using custom service endpoint regardless of source of either setting

opened 06:43AM - 07 Jun 24 UTC

gdavison

bug

### Description The `use_dualstack_endpoint` parameter instructs the AWS SDK en…dpoint resolver to return a dual-stack endpoint. If a custom endpoint is configured for a service, the resolver returns an error. When a custom endpoint is supplied for a service, the value of `use_dualstack_endpoint` must be ignored. Test the following combinations: * Use dual-stack endpoint set on the provider, shared configuration file, or environment variable * No custom endpoint (returns default dual-stack endpoint), custom endpoint set on the provider, shared configuration file, or environment variable, base endpoint set in shared configuration file or environment variable (#32649 suggests adding base endpoint configuration on the provider) ### References See #37876 for the equivalent issue with FIPS endpoints ### Would you like to implement a fix? None

und das:

github.com/aws/aws-sdk-php

After 3.243.0 Host override cannot be combined with Dualstack, FIPS, or S3 Accelerate

opened 02:01PM - 04 Jan 23 UTC

closed 05:24PM - 05 Jan 23 UTC

kerkness

guidance response-requested

### Describe the bug After the update to version 3.243.0 and I think the start …of using Aws\EndpointV2 it would appear that the option for `use_dual_stack_endpoint` and possibly `use_fips_endpoint` are always true. This prevents multipart uploads which use accelerator and any writes that use accelerator with possible other issues as a result. When tracing through the updates made in 3.243.0 and subsequent updates I was unable to determine where the options are actually being set to true, or if the default behavior for these options is being assumed as true on the AWS end and explicitly setting them to false is being ignored. I am using Laravel 9 with league/flysystem-aws-s3-v3 but the issue appears to be isolated with changes starting with aws-sdk-php v3.243.0 and later. Explicitly setting `"aws/aws-sdk-php": "3.242.1"` in composer resolves the issue ### Expected Behavior Default values for `use_dual_stack_endpoint` and `use_fips_endpoint` is false. Setting env variables `AWS_USE_DUAL_STACK_ENDPOINT` and `AWS_USE_FIPS_ENDPOINT` to false is respected. ### Current Behavior Default values for `use_dual_stack_endpoint` and `use_fips_endpoint` appears to be true. Setting env variables `AWS_USE_DUAL_STACK_ENDPOINT` and `AWS_USE_FIPS_ENDPOINT` to false is ignored. ### Reproduction Steps Create an S3 client with default Laravel S3 config and create a multipart upload ``` $client = Storage::disk('s3')->getClient(); $result = $client->createMultipartUpload([ 'Bucket' => $bucket, 'Key' => $key, 'ContentType' => $type, 'ContentDisposition' => 'inline', ]); ``` Results in error `Host override cannot be combined with Dualstack, FIPS, or S3 Accelerate` Environment variables used ``` AWS_ACCESS_KEY_ID=***** AWS_SECRET_ACCESS_KEY=***** AWS_DEFAULT_REGION=ca-central-1 AWS_BUCKET=my-bucket-name AWS_URL="https://s3.amazonaws.com" AWS_POST_END_POINT="https://${AWS_BUCKET}.s3.amazonaws.com/" AWS_USE_PATH_STYLE_ENDPOINT=false AWS_USE_ACCELERATE_ENDPOINT=true AWS_USE_DUAL_STACK_ENDPOINT=false AWS_USE_FIPS_ENDPOINT=false ``` ### Possible Solution _No response_ ### Additional Information/Context The specific error `Host override cannot be combined with Dualstack, FIPS, or S3 Accelerate` does not appear to be common but has recently been reported with aws cli on stackoverflow indicating it may actually result from a more recent change on AWS/S3 side of things. ### SDK version used 3.243.0 ### Environment details (Version of PHP (`php -v`)? OS name and version, etc.) php 8.0.12, laravel/framerwork ^9.0, league/flysystem-aws-s3-v3 ^3.0, aws/aws-sdk-php ^3.243.0

Vielleicht sollte S3_REGION gelöscht werden, wenn hier ein Endpunkt gesetzt ist?

github.com/discourse/discourse

lib/file_store/to_s3_migration.rb

main


      
                  - DISCOURSE_S3_REGION
                  and either
                  - DISCOURSE_S3_ACCESS_KEY_ID
                  - DISCOURSE_S3_SECRET_ACCESS_KEY
                  or
                  - DISCOURSE_S3_USE_IAM_PROFILE
              TEXT
            end
          
            opts = { region: ENV["DISCOURSE_S3_REGION"] }
            opts[:endpoint] = ENV["DISCOURSE_S3_ENDPOINT"] if ENV["DISCOURSE_S3_ENDPOINT"].present?
          
            if ENV["DISCOURSE_S3_USE_IAM_PROFILE"].blank?
              opts[:access_key_id] = ENV["DISCOURSE_S3_ACCESS_KEY_ID"]
              opts[:secret_access_key] = ENV["DISCOURSE_S3_SECRET_ACCESS_KEY"]
            end
          
            { client_options: opts, bucket: ENV["DISCOURSE_S3_BUCKET"] }
          end
          
          def migrate

EDIT: Ups. Ich dachte, ich hätte gesucht. Entschuldige, Falco.

pfaffman · 7. November 2024 um 19:40

Seltsamerweise erhalte ich dadurch diese Fehlermeldung:

Gem::LoadError: kann webrick-1.9.0 nicht aktivieren, webrick-1.8.2 wurde bereits aktiviert (Gem::LoadError)

die ich gerade auf einer Instanz gesehen habe, die ich zum Ausführen eines Imports verwendet habe, die ich durch ein Upgrade „repariert“ habe.

Ich schätze, ich kann diesen Server im Moment einfach nicht upgraden.

Don · 7. November 2024 um 19:48

Ich bin mir nicht sicher, aber es ist vielleicht einen Versuch wert. Ich habe zuvor erfolgreich einen Rebuild durchgeführt, bevor ich dies tat.

Und direkt danach versuche ich, mit der Auswahl des Commits einen Rebuild durchzuführen. Beim zweiten Mal lief der Rebuild erfolgreich.

Falco · 7. November 2024 um 20:14

@martin Normalerweise bieten wir hier eine globale Einstellung an, um das Verhalten zu deaktivieren, das es Personen, die inkompatible S3-Klone ausführen, ermöglicht, sich dafür zu entscheiden, damit es funktioniert.

Meiner Meinung nach sollte das aktuelle Verhalten der Standard bleiben, aber Schalter zur Erhöhung der Kompatibilität bereitgestellt werden.

Siehe frühere Beispiele in DISCOURSE_S3_HTTP_CONTINUE_TIMEOUT, DISCOURSE_S3_INSTALL_CORS_RULE usw.

martin · 8. November 2024 um 00:13

Ah, Entschuldigung, mein Fehler, Leute. Diese S3-Klone entfallen mir immer. Ich musste gestern dieses benutzerdefinierte Endpunktproblem mit Minio beheben. Ich denke, die Lösung hier besteht einfach darin, niemals dualstack zu verwenden, wenn DISCOURSE_S3_ENDPOINT gesetzt wurde, da diese inkompatibel sind, und alle hier scheinen das zu verwenden.

martin · 8. November 2024 um 01:13

Ich habe hierfür jetzt einen Fix zusammengeführt:

github.com/discourse/discourse

FIX: S3 custom endpoint incompatible with dualstack

main ← issue/fix-s3-endpoint-dualstack

opened 12:41AM - 08 Nov 24 UTC

martin-brennan

+22 -5

Followup 0568d36133081e52f25f05585c1a568c3b828d79 S3 itself and other S3-comp…atible providers do not allow using an S3 custom endpoint and dualstack at the same time, so this commit fixes that by not using dualstack when the endpoint is present. c.f. https://meta.discourse.org/t/rebuild-issue-cannot-set-dual-stack-in-combination-with-a-custom-endpoint/334902

pfaffman · 8. November 2024 um 16:03

Danke für den schnellen Fix! Ich bin wieder im Geschäft.

Danke für die klare Erklärung, Rafael!

Das liegt daran, dass es viel zu bedenken gibt! Und die Spec-Tests, denke ich, würden diese nervigen stub_requests erfordern, von denen ich weiß, dass ich sie hasse zu schreiben.

Nur zur Info, das klingt für mich richtig. Und Sie könnten wahrscheinlich Tests dafür schreiben, die keine Stubs für stub_requests erfordern.

nat · 13. November 2024 um 05:49

10 Beiträge wurden in ein neues Thema aufgeteilt: Unable to backup or navigate to backups

merefield · 13. November 2024 um 11:29

Ich glaube nicht, dass dies als fixed markiert werden sollte.

Diese Änderung hat höchstwahrscheinlich Backups auf mehreren Instanzen unterbrochen (wobei andere vermutlich noch nicht wissen, dass ihre Instanzen nicht mehr gesichert werden).

Das deutet für mich darauf hin, dass die Spezifikationen nicht breit genug sind, um alle realen Anwendungsfälle zu erfassen, und dass Änderungen durchgehen, die nicht hätten durchgehen sollen?

pfaffman · 14. November 2024 um 17:01

Es scheint mir, als ob es nur für Websites behoben ist, auf denen use_s3 aktiviert ist, aber nicht für diejenigen, die S3 nur für Backups verwenden.

Obwohl es wieder möglich ist, neu zu erstellen, sind die S3-Backups einfach kaputt.

martin · 15. November 2024 um 04:41

Das Backup-Problem wurde hier behoben: Unable to backup or navigate to backups - #20 by martin

j.jaffeux · 18. November 2024 um 04:42

Dieses Thema wurde 3 Tage nach der letzten Antwort automatisch geschlossen. Neue Antworten sind nicht mehr möglich.

Thema		Antworten	Aufrufe
Setting DISCOURSE_S3_REGION: whatever no longer works Bug	2	55	7. November 2024
Unable to backup or navigate to backups Bug s3	23	242	18. November 2024
Rake uploads:migrate_to_s3 error Installation s3	8	789	6. Januar 2020
Configure an S3 compatible object storage provider for uploads Self-Hosting configuring , reference , how-to , cdn	265	43331	19. November 2025
Can't rebuild due to AWS SDK gem bump and new AWS Data Integrity Protections Installation	53	933	4. November 2025

Wiederherstellungsproblem: [Kann Dual-Stack nicht in Kombination mit einem benutzerdefinierten Endpunkt festlegen.]

Verwandte Themen