مشكلة في إعادة البناء: [لا يمكن تعيين dual-stack مع استخدام نقطة نهاية مخصصة.]

Don · 7 نوفمبر 2024، 8:13ص

مرحباً

لا يمكن إعادة البناء مع المشكلة التالية.

I, [2024-11-07T08:00:56.758061 #1]  INFO -- : cd /var/www/discourse & sudo -E -u discourse bundle exec rake s3:upload_assets
rake aborted!
ArgumentError: Cannot set dual-stack in combination with a custom endpoint. (ArgumentError)

          raise ArgumentError, "Cannot set dual-stack in combination with a custom endpoint."
                ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

FAILED

--------------------

Pups::ExecError: cd /var/www/discourse & sudo -E -u discourse bundle exec rake s3:upload_assets failed with return #<Process::Status: pid 3349 exit 1>

Location of failure: /usr/local/lib/ruby/gems/3.3.0/gems/pups-1.2.1/lib/pups/exec_command.rb:132:in `spawn'

exec failed with the params {"cd"=>"$home", "cmd"=>["sudo -E -u discourse bundle exec rake s3:upload_assets", "sudo -E -u discourse bundle exec rake s3:expire_missing_assets"]}

bootstrap failed with exit code 1

** FAILED TO BOOTSTRAP ** please scroll up and look for earlier error messages, there may be more than one.

./discourse-doctor may help diagnose the problem.

567dc9e1f9a4e662de6024b8504915d8b6ef1ee2d9b4303af75323ba478679e4

ربما يتعلق بالالتزام: FIX: Use dualstack S3 endpoint for direct uploads (#29611) · discourse/discourse@0568d36 · GitHub

أستخدم تخزين الكائنات S3 للتحميل إلى DO Spaces. المشكلة ربما تكون في هذا.

Discourse:

Configuration

In order to store Discourse static assets in your Object Storage add this configuration on your app.yml under the hooks section:
  after_assets_precompile:
    - exec:
        cd: $home
        cmd:
          - sudo -E -u discourse bundle exec rake s3:upload_assets
          - sudo -E -u discourse bundle exec rake s3:expire_missing_assets

شكراً

Don · 7 نوفمبر 2024، 9:35ص

لقد علقت هذه الأسطر مما يجعل إعادة البناء تعمل بنجاح ولكن الموقع عالق على الشاشة الافتتاحية أعتقد لأنه لا يمكن تحميل الأصول. الوضع الآمن نفس الشيء…

  after_assets_precompile:
    - exec:
        cd: $home
        cmd:
          - sudo -E -u discourse bundle exec rake s3:upload_assets
          - sudo -E -u discourse bundle exec rake s3:expire_missing_assets

أي فكرة؟ أعرف أن هذا توقيت سيء…

nat · 7 نوفمبر 2024، 9:44ص

مرحباً دون، سنلقي نظرة. شكراً للإبلاغ.

Don · 7 نوفمبر 2024، 10:33ص

شكرا ناتالي

لـ إصلاح سريع، قمت بإعادة البناء باستخدام الإصدار cc01555fce59e116b76c912b4c5195e111a652b2، وهو التزام واحد خلف هذا FIX: Use dualstack S3 endpoint for direct uploads (#29611) · discourse/discourse@0568d36 · GitHub

pfaffman · 7 نوفمبر 2024، 7:24م

بدأ إعادة البناء الخاصة بي بإعداد Digital Ocean Spaces S3 بالفشل مع هذا الخطأ:

, [2024-11-07T19:09:38.615466 #1]  INFO -- : cd /var/www/discourse & sudo -E -u discourse bundle exec rake s3:upload_assets
rake aborted!
ArgumentError: Cannot set dual-stack in combination with a custom endpoint. (ArgumentError)
          raise ArgumentError, "Cannot set dual-stack in combination with a custom endpoint."
                ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-s3-1.143.0/lib/aws-sdk-s3/endpoint_provider.rb:34:in `resolve_endpoint'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-s3-1.143.0/lib/aws-sdk-s3/plugins/endpoints.rb:37:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/seahorse/client/plugins/endpoint.rb:47:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/plugins/param_validator.rb:26:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-s3-1.143.0/lib/aws-sdk-s3/plugins/sse_cpk.rb:24:in `call'

ولكن إغفال تعيينه إلى whatever يتسبب في فشل البناء على هذا النحو:


I, [2024-11-07T19:15:31.060936 #1]  INFO -- : cd /var/www/discourse & sudo -E -u discourse bundle exec rake s3:upload_assets
ERROR: Ensure S3 is configured in config/discourse.conf or environment vars
I, [2024-11-07T19:15:36.056204 #1]  INFO -- :

وجدت هذا:

github.com/hashicorp/terraform-provider-aws

Correctly ignore `use_dualstack_endpoint` when using custom service endpoint regardless of source of either setting

opened 06:43AM - 07 Jun 24 UTC

gdavison

bug

### Description The `use_dualstack_endpoint` parameter instructs the AWS SDK en…dpoint resolver to return a dual-stack endpoint. If a custom endpoint is configured for a service, the resolver returns an error. When a custom endpoint is supplied for a service, the value of `use_dualstack_endpoint` must be ignored. Test the following combinations: * Use dual-stack endpoint set on the provider, shared configuration file, or environment variable * No custom endpoint (returns default dual-stack endpoint), custom endpoint set on the provider, shared configuration file, or environment variable, base endpoint set in shared configuration file or environment variable (#32649 suggests adding base endpoint configuration on the provider) ### References See #37876 for the equivalent issue with FIPS endpoints ### Would you like to implement a fix? None

وهذا:

github.com/aws/aws-sdk-php

After 3.243.0 Host override cannot be combined with Dualstack, FIPS, or S3 Accelerate

opened 02:01PM - 04 Jan 23 UTC

closed 05:24PM - 05 Jan 23 UTC

kerkness

guidance response-requested

### Describe the bug After the update to version 3.243.0 and I think the start …of using Aws\EndpointV2 it would appear that the option for `use_dual_stack_endpoint` and possibly `use_fips_endpoint` are always true. This prevents multipart uploads which use accelerator and any writes that use accelerator with possible other issues as a result. When tracing through the updates made in 3.243.0 and subsequent updates I was unable to determine where the options are actually being set to true, or if the default behavior for these options is being assumed as true on the AWS end and explicitly setting them to false is being ignored. I am using Laravel 9 with league/flysystem-aws-s3-v3 but the issue appears to be isolated with changes starting with aws-sdk-php v3.243.0 and later. Explicitly setting `"aws/aws-sdk-php": "3.242.1"` in composer resolves the issue ### Expected Behavior Default values for `use_dual_stack_endpoint` and `use_fips_endpoint` is false. Setting env variables `AWS_USE_DUAL_STACK_ENDPOINT` and `AWS_USE_FIPS_ENDPOINT` to false is respected. ### Current Behavior Default values for `use_dual_stack_endpoint` and `use_fips_endpoint` appears to be true. Setting env variables `AWS_USE_DUAL_STACK_ENDPOINT` and `AWS_USE_FIPS_ENDPOINT` to false is ignored. ### Reproduction Steps Create an S3 client with default Laravel S3 config and create a multipart upload ``` $client = Storage::disk('s3')->getClient(); $result = $client->createMultipartUpload([ 'Bucket' => $bucket, 'Key' => $key, 'ContentType' => $type, 'ContentDisposition' => 'inline', ]); ``` Results in error `Host override cannot be combined with Dualstack, FIPS, or S3 Accelerate` Environment variables used ``` AWS_ACCESS_KEY_ID=***** AWS_SECRET_ACCESS_KEY=***** AWS_DEFAULT_REGION=ca-central-1 AWS_BUCKET=my-bucket-name AWS_URL="https://s3.amazonaws.com" AWS_POST_END_POINT="https://${AWS_BUCKET}.s3.amazonaws.com/" AWS_USE_PATH_STYLE_ENDPOINT=false AWS_USE_ACCELERATE_ENDPOINT=true AWS_USE_DUAL_STACK_ENDPOINT=false AWS_USE_FIPS_ENDPOINT=false ``` ### Possible Solution _No response_ ### Additional Information/Context The specific error `Host override cannot be combined with Dualstack, FIPS, or S3 Accelerate` does not appear to be common but has recently been reported with aws cli on stackoverflow indicating it may actually result from a more recent change on AWS/S3 side of things. ### SDK version used 3.243.0 ### Environment details (Version of PHP (`php -v`)? OS name and version, etc.) php 8.0.12, laravel/framerwork ^9.0, league/flysystem-aws-s3-v3 ^3.0, aws/aws-sdk-php ^3.243.0

ربما يجب مسح S3_REGION إذا تم تعيين نقطة نهاية هنا؟

github.com/discourse/discourse

lib/file_store/to_s3_migration.rb

main


      
                  - DISCOURSE_S3_REGION
                  and either
                  - DISCOURSE_S3_ACCESS_KEY_ID
                  - DISCOURSE_S3_SECRET_ACCESS_KEY
                  or
                  - DISCOURSE_S3_USE_IAM_PROFILE
              TEXT
            end
          
            opts = { region: ENV["DISCOURSE_S3_REGION"] }
            opts[:endpoint] = ENV["DISCOURSE_S3_ENDPOINT"] if ENV["DISCOURSE_S3_ENDPOINT"].present?
          
            if ENV["DISCOURSE_S3_USE_IAM_PROFILE"].blank?
              opts[:access_key_id] = ENV["DISCOURSE_S3_ACCESS_KEY_ID"]
              opts[:secret_access_key] = ENV["DISCOURSE_S3_SECRET_ACCESS_KEY"]
            end
          
            { client_options: opts, bucket: ENV["DISCOURSE_S3_BUCKET"] }
          end
          
          def migrate

تعديل: عفوًا. اعتقدت أنني بحثت. آسف فالكو.

pfaffman · 7 نوفمبر 2024، 7:40م

بشكل غريب ، هذا يعطيني هذا الخطأ:

Gem::LoadError: لا يمكن تنشيط webrick-1.9.0 ، تم تنشيط webrick-1.8.2 بالفعل (Gem::LoadError)

والذي رأيته للتو في مثيل كنت أستخدمه لتشغيل استيراد ، والذي “أصلحته” عن طريق الترقية.

أعتقد أنني ببساطة لا أستطيع ترقية هذا الخادم الآن.

Don · 7 نوفمبر 2024، 7:48م

لست متأكدًا ولكن ربما يستحق المحاولة. لقد قمت بإعادة بناء ناجحة من قبل للقيام بذلك.

وبعد ذلك مباشرة، حاولت إعادة البناء مع اختيار الالتزام. في المرة الثانية، تم تشغيل إعادة البناء بنجاح.

Falco · 7 نوفمبر 2024، 8:14م

@martin عادةً ما نقوم هنا بتوفير إعداد عام لتعطيل السلوك الذي يمكن للأشخاص الذين يشغلون استنساخ S3 غير المتوافقين تمكينه للعمل.\n\nفي رأيي، يجب أن يظل السلوك الحالي هو الافتراضي، ولكن يجب توفير تبديلات لزيادة التوافق.\n\nانظر الأعمال السابقة في DISCOURSE_S3_HTTP_CONTINUE_TIMEOUT و DISCOURSE_S3_INSTALL_CORS_RULE وما إلى ذلك.

martin · 8 نوفمبر 2024، 12:13ص

آه، آسف، خطئي يا جماعة، هذه النسخ المتماثلة لـ S3 دائمًا ما تفلت من ذاكرتي. لقد اضطررت بالفعل إلى إصلاح مشكلة نقطة النهاية المخصصة هذه مع Minio بالأمس. أعتقد أن الإصلاح هنا يمكن أن يكون ببساطة عدم استخدام dualstack أبدًا إذا تم تعيين DISCOURSE_S3_ENDPOINT نظرًا لأنها غير متوافقة، ويبدو أن الجميع هنا يستخدمونها.

martin · 8 نوفمبر 2024، 1:13ص

لقد قمت بدمج إصلاح لهذه المشكلة الآن:

github.com/discourse/discourse

FIX: S3 custom endpoint incompatible with dualstack

main ← issue/fix-s3-endpoint-dualstack

opened 12:41AM - 08 Nov 24 UTC

martin-brennan

+22 -5

Followup 0568d36133081e52f25f05585c1a568c3b828d79 S3 itself and other S3-comp…atible providers do not allow using an S3 custom endpoint and dualstack at the same time, so this commit fixes that by not using dualstack when the endpoint is present. c.f. https://meta.discourse.org/t/rebuild-issue-cannot-set-dual-stack-in-combination-with-a-custom-endpoint/334902

pfaffman · 8 نوفمبر 2024، 4:03م

شكرًا على الإصلاح السريع! لقد عدت للعمل.

شكرًا على الشرح الواضح، رافائيل!

هذا لأنه هناك الكثير من الأشياء التي يجب تذكرها! واختبارات المواصفات، أعتقد، ستتطلب تلك stub_request المزعجة التي أعرف أنني أكره كتابتها.

للعلم، هذا يبدو صحيحًا بالنسبة لي. وربما يمكنك كتابة اختبارات لذلك لا تتطلب استبدالات لـ stub_requests.

nat · 13 نوفمبر 2024، 5:49ص

تم تقسيم 10 مشاركات إلى موضوع جديد: تعذر النسخ الاحتياطي أو الانتقال إلى النسخ الاحتياطية

merefield · 13 نوفمبر 2024، 11:29ص

لا أعتقد أنه يجب تمييز هذا على أنه fixed.

من المحتمل جدًا أن يكون هذا التغيير قد تسبب في تعطل النسخ الاحتياطي على عدة مثيلات (مع عدم معرفة الآخرين بأن مثيلاتهم لا يتم نسخها احتياطيًا بعد على الأرجح).

هذا يشير لي إلى أن المواصفات ليست واسعة بما يكفي لالتقاط جميع حالات الاستخدام الحقيقية وأن التغييرات تمر دون أن كان يجب أن تمر؟

pfaffman · 14 نوفمبر 2024، 5:01م

يبدو لي أنه تم إصلاحه فقط للمواقع التي تم فيها تشغيل use_s3 ولكن ليس تلك التي تستخدم S3 للنسخ الاحتياطي فقط.

على الرغم من أنه من الممكن إعادة البناء مرة أخرى، إلا أن النسخ الاحتياطي لـ S3 معطل.

martin · 15 نوفمبر 2024، 4:41ص

تم إصلاح مشكلة النسخ الاحتياطي هنا Unable to backup or navigate to backups - #20 by martin

j.jaffeux · 18 نوفمبر 2024، 4:42ص

تم إغلاق هذا الموضوع تلقائيًا بعد 3 أيام من آخر رد. لم تعد الردود الجديدة مسموح بها.

الموضوع		الردود	مرات العرض
Setting DISCOURSE_S3_REGION: whatever no longer works Bug	2	55	7 نوفمبر 2024
Unable to backup or navigate to backups Bug s3	23	242	18 نوفمبر 2024
Rake uploads:migrate_to_s3 error Installation s3	8	789	6 يناير 2020
Configure an S3 compatible object storage provider for uploads Self-Hosting cdn , configuring , how-to , reference	265	43379	19 نوفمبر 2025
Can't rebuild due to AWS SDK gem bump and new AWS Data Integrity Protections Installation	53	935	4 نوفمبر 2025

مشكلة في إعادة البناء: [لا يمكن تعيين dual-stack مع استخدام نقطة نهاية مخصصة.]

الموضوعات ذات الصلة