إعادة البناء دائماً تفشل عندما يتم استنفاد حد MAXMIND اليومي

JammyDodger · 8 يوليو 2024، 8:11ص

لقد جربت إعادة البناء الآن وفشلت عند هذه النقطة:

 - dist/javascripts/media-optimization-worker.js: 5.01 kB (1.74 kB gzipped)
 - dist/javascripts/pikaday/1.8.2/pikaday.js: 42.54 kB (9.67 kB gzipped)
 - dist/javascripts/squoosh/mozjpeg_enc.js: 39.03 kB (10.81 kB gzipped)
 - dist/javascripts/squoosh/squoosh_resize.js: 4.53 kB (1.28 kB gzipped)
Done in 355.08s.

I, [2024-07-08T07:59:42.015855 #1]  INFO -- : cd /var/www/discourse & su discourse -c 'SKIP_EMBER_CLI_COMPILE=1 bundle exec rake themes:update assets:precompile'
Purging temp files
Bundling assets
I, [2024-07-08T07:59:57.247206 #1532]  INFO -- : Writing /var/www/discourse/public/assets/break_string-cc617154cd957804f2f6a1f3bc68258c9cdca3d4b9a322bf777d145fed04790e.js
I, [2024-07-08T07:59:57.264957 #1532]  INFO -- : Writing /var/www/discourse/public/assets/service-worker-9764e1cd771b38dbe65a0d1e42d89cb2cb5f72b266ab7316e55d3371cb0ac870.js
I, [2024-07-08T07:59:57.271269 #1532]  INFO -- : Writing /var/www/discourse/public/assets/locales/i18n-3b40e842fd72b9bcc74ea83e094c823cd9ca535e4ecc5e78722e6f99d3656137.js
I, [2024-07-08T07:59:57.277082 #1532]  INFO -- : Writing /var/www/discourse/public/assets/scripts/discourse-test-listen-boot-9b14a0fc65c689577e6a428dcfd680205516fe211700a71c7adb5cbcf4df2cc5.js
I, [2024-07-08T07:59:59.103776 #1532]  INFO -- : Writing /var/www/discourse/public/assets/locales/ar-dfed7a58f30378bc60d7a2cc8d6347524f68b272ae012f0232604f730e442f91.js
I, [2024-07-08T08:00:00.112555 #1532]  INFO -- : Writing /var/www/discourse/public/assets/locales/be-e12ac4c99df2289f422efd371dd3da766754aecb1189ea763fe003376aca9028.js
rake aborted!
Zlib::BufError: buffer error (Zlib::BufError)

kuaza · 8 يوليو 2024، 2:38م

لدي سؤال. هل تستخدم S3؟ أظن ذلك أيضاً.

JammyDodger · 8 يوليو 2024، 3:38م

لا لا S3 بالنسبة لي.

Roi · 16 يوليو 2024، 7:22م

لا أعرف ما إذا كان هذا يحدث فقط عند استنفاد الحد اليومي. لكنه يحدث طوال الوقت هنا لمدة 2-3 أشهر الآن. يبدو أن أشخاصًا آخرين يواجهون نفس المشكلة:

ربما ستكون فكرة جيدة توفير ملفات Maxmind من دليل محلي؟ أقوم بتنزيله على أي حال لاستخدامات أخرى، لذا فهو موجود بالفعل.

وربما سيكون من الأفضل توفير ملفات Maxmind في دليل مشترك داخل حاوية Discourse للحصول دائمًا على أحدث إصدار؟ كما ذكرت، أقوم بتنزيله على أي حال وأقوم بتحديث الملفات مرة واحدة يوميًا.

kuaza · 16 يوليو 2024، 7:29م

أعتقد أن المشكلة لا تتعلق بالحد. بمعنى آخر، يعطي خطأ أيضًا عند إدخال مفتاح خاطئ أو معرف حساب خاطئ. هذه هي الطريقة التي يمكننا بها حل المشكلة هنا: في حالة حدوث خطأ، اجعله يستخدم قاعدة البيانات القديمة ويستمر في إعادة بنائها. بالطبع، من المهم جدًا تحديد السبب الرئيسي لهذه المشكلة.

لقد حاولت إنشاء مثال قبل يومين وأعطاني خطأ. لم يكن له علاقة بالحد لأنها كانت أول عملية إعادة بناء لي في ذلك اليوم. ثم قمت بإنشاء مفتاح جديد وجربته وعمل. هناك موقف هنا: عندما تقوم بإنشاء مفتاح، يستغرق الأمر بعض الوقت حتى يصبح نشطًا. إذا قمت بإعادة إنشائه على الفور، فإنه يعطي خطأ.

مثير للاهتمام

Roi · 16 يوليو 2024، 7:39م

حسنًا، مفاتيحي قديمة، لم أقم بتغييرها أبدًا بعد البدء في استخدامها. لماذا تعمل عندما تنشئ مفتاحًا جديدًا؟ لقد قلت إن الأمر يستغرق بعض الوقت حتى يصبح نشطًا. لذا يجب أن يرمي خطأ حينها؟

هذه فكرة جيدة. أو تقديم الملفات من دليل محلي، كما اقترحت. كل شيء اختياري. لكن هذا يزعجني حقًا أن إعادة البناء أشبه باليانصيب لعدة أسابيع الآن…

tgxworld · 16 يوليو 2024، 10:38م

هذا يتعارض مع شروط استخدام Maxmind، ولهذا السبب نحتاج إلى جعل الجميع يقدمون مفاتيح API لتنزيل الملفات بشكل فردي.

سأقوم بتعيين نفسي للنظر في المشكلة عند الوصول إلى الحد اليومي.

pfaffman · 17 يوليو 2024، 12:54ص

لقد فشل إعادة البناء ثم قمت ببناء الصورة مع إيقاف تشغيل إعدادات maxmind. ثم داخل الحاوية، أضفت الإعدادات مرة أخرى وقمت بتشغيل مهمة rake بنجاح.

ربما يكون من الممكن إعادة البناء دون تنزيل قاعدة البيانات ثم تنزيل قاعدة البيانات عند بدء تشغيل الحاوية؟

أيضًا، أضفت طلب سحب (PR) من شأنه أن يسمح للتمهيد بالنجاح (والذي تم دمجه) حتى لو فشل التنزيل، ولكنه لا يزال يتسبب في فشل التمهيد.

tgxworld · 17 يوليو 2024، 12:58ص

نعم، أعتقد أنك على حق هنا. Maxmind ليست ميزة حرجة، لذا لا داعي لأن نجعل بدء التشغيل يفشل عندما لا نتمكن من تنزيل الأشياء.

Roi · 17 يوليو 2024، 8:15ص

أعتقد أنك لم تفهم ما حاولت قوله. دعني أحاول مرة أخرى:

لدي برنامج نصي يقوم بتنزيل ملفات Maxmind كل بضعة أيام. باستخدام مفاتيح API الخاصة بي بالطبع. تُستخدم الملفات على الخادم لعدة أشياء مثل إحصائيات الويب AWstats، وإضافات WordPress، وما إلى ذلك.

لذا، لدي الملفات على الجهاز على أي حال. لماذا أقوم بتنزيل الملفات (مرة أخرى) عند إعادة بناء حاوية Discourse؟

هذه فكرة رائعة.

pfaffman · 17 يوليو 2024، 2:32م

نعم. سيكون من الرائع أن تكون هذه الملفات في تخزين دائم، خاصة إذا كان يمكن مشاركتها عبر مثيلات متعددة. لدي عدد قليل من مواقع Discourse على نفس الجهاز خلف Traefik، لذلك إذا كان بإمكانهم جميعًا مشاركة نفس mmdb، فسيوفر ذلك الاحتفاظ وتنزيل مجموعة من النسخ المنفصلة. حتى في التثبيت القياسي، يمكن أن تستمر هذه الملفات بين عمليات البناء. ربما هذا ممكن بالفعل؟ ربما يكفي تحميل /var/www/discourse/vendor/data في مكان دائم؟
آها. أعتقد أن هذا هو الغرض من GlobalSetting.maxmind_backup_path. لذلك أعتقد أنه إذا كان لديك maxminddb لسبب ما، يمكنك تعيين DISCOURSE_MAXMIND_BACKUP_PATH إلى شيء متاح في الحاوية.
أيضًا، لماذا نحتاج إلى mmdb لتجميع الأصول مسبقًا؟

github.com/discourse/discourse

lib/tasks/assets.rake

main


      
          # frozen_string_literal: true
          
          task "assets:precompile:build" do
            if ENV["SKIP_EMBER_CLI_COMPILE"] != "1"
              ember_version = ENV["EMBER_VERSION"] || "5"
          
              raise "Unknown ember version '#{ember_version}'" if !%w[5].include?(ember_version)
          
              compile_command = "EMBER_ENV=production #{Rails.root}/script/assemble_ember_build.rb"
          
              only_ember_precompile_build_remaining = (ARGV.last == "assets:precompile:build")
              only_assets_precompile_remaining = (ARGV.last == "assets:precompile")
          
              # Using exec to free up Rails app memory during ember build
              if only_ember_precompile_build_remaining
                exec "#{compile_command}"
              elsif only_assets_precompile_remaining
                exec "#{compile_command} && SKIP_EMBER_CLI_COMPILE=1 bin/rake assets:precompile"
              else
                system compile_command, exception: true
                EmberCli.clear_cache!
              end
            end
          end
          
          task "assets:precompile:before": %w[environment assets:precompile:build]
          
          task "assets:precompile:css" => "environment" do
            if ENV["DONT_PRECOMPILE_CSS"] == "1" || ENV["SKIP_DB_AND_REDIS"] == "1"
              STDERR.puts "Skipping CSS precompilation, ensure CSS lives in a shared directory across hosts"
            else
              STDERR.puts "Start compiling CSS: #{Time.zone.now}"
          
              RailsMultisite::ConnectionManagement.each_connection do |db|
                # CSS will get precompiled during first request if tables do not exist.
                if ActiveRecord::Base.connection.table_exists?(Theme.table_name)
                  STDERR.puts "-------------"
                  STDERR.puts "Compiling CSS for #{db} #{Time.zone.now}"
                  begin
                    Stylesheet::Manager.recalculate_fs_asset_cachebuster!
                    Stylesheet::Manager.precompile_css if db == "default"
                    Stylesheet::Manager.precompile_theme_css
                  rescue PG::UndefinedColumn, ActiveModel::MissingAttributeError, NoMethodError => e
                    STDERR.puts "#{e.class} #{e.message}: #{e.backtrace.join("\n")}"
                    STDERR.puts "Skipping precompilation of CSS cause schema is old, you are precompiling prior to running migrations."
                  end
                end
              end
          
              STDERR.puts "Done compiling CSS: #{Time.zone.now}"
            end
          end
          
          task "assets:flush_sw" => "environment" do
            begin
              hostname = Discourse.current_hostname
              default_port = SiteSetting.force_https? ? 443 : 80
              port = SiteSetting.port.to_i > 0 ? SiteSetting.port : default_port
              STDERR.puts "Flushing service worker script"
              `curl -s -m 1 --resolve '#{hostname}:#{port}:127.0.0.1' #{Discourse.base_url}/service-worker.js > /dev/null`
              STDERR.puts "done"
            rescue StandardError
              STDERR.puts "Warning: unable to flush service worker script"
            end
          end
          
          def assets_path
            "#{Rails.root}/public/assets"
          end
          
          def gzip(path)
            cmd = "gzip -f -c -9 #{path} > #{path}.gz"
            system cmd, exception: true
          end
          
          def brotli_command(path)
            compression_quality = ENV["DISCOURSE_ASSETS_PRECOMPILE_DEFAULT_BROTLI_QUALITY"] || "6"
            "brotli -f --quality=#{compression_quality} #{path} --output=#{path}.br"
          end
          
          def brotli(path)
            system brotli_command(path), exception: true
          end
          
          def concurrent?
            if ENV["SPROCKETS_CONCURRENT"] == "1"
              concurrent_compressors = []
              executor = Concurrent::FixedThreadPool.new(Concurrent.processor_count)
          
              yield(
                Proc.new do |&block|
                  concurrent_compressors << Concurrent::Future.execute(executor: executor) { block.call }
                end
              )
          
              concurrent_compressors.each(&:wait!)
            else
              yield(Proc.new { |&block| block.call })
            end
          end
          
          def current_timestamp
            Process.clock_gettime(Process::CLOCK_MONOTONIC)
          end
          
          def log_task_duration(task_description, &task)
            task_start = current_timestamp
            task.call
            STDERR.puts "Done '#{task_description}' : #{(current_timestamp - task_start).round(2)} secs"
            STDERR.puts
          end
          
          task "assets:precompile:compress_js": "environment" do
            puts "Compressing JavaScript files"
          
            load_path = Rails.application.assets.load_path
          
            log_task_duration("Done compressing all JS files") do
              concurrent? do |proc|
                load_path
                  .assets
                  .select { |asset| asset.logical_path.extname == ".js" }
                  .each do |asset|
                    digested_path = asset.digested_path.to_s
          
                    if digested_path.include? "discourse/tests"
                      STDERR.puts "Skipping: #{digested_path}"
                      next
                    end
          
                    proc.call do
                      log_task_duration(digested_path) do
                        STDERR.puts "Compressing: #{digested_path}"
                        file_path = "public/assets/#{digested_path}"
                        gzip(file_path)
                        brotli(file_path)
                      end
                    end
                  end
              end
            end
          
            if GlobalSetting.fallback_assets_path.present?
              begin
                FileUtils.cp_r("#{Rails.root}/public/assets/.", GlobalSetting.fallback_assets_path)
              rescue => e
                STDERR.puts "Failed to backup assets to #{GlobalSetting.fallback_assets_path}"
                STDERR.puts e
                STDERR.puts e.backtrace
              end
            end
          end
          
          task "assets:precompile:asset_processor": "environment" do
            AssetProcessor.build_production_asset_processor
          end
          
          # Run these tasks **before** Rails' "assets:precompile" task
          task "assets:precompile": %w[assets:precompile:before assets:precompile:asset_processor]
          
          # Run these tasks **after** Rails' "assets:precompile" task
          Rake::Task["assets:precompile"].enhance do
            Rake::Task["assets:precompile:compress_js"].invoke
            Rake::Task["assets:precompile:css"].invoke
            Rake::Task["maxminddb:refresh"].invoke
          end

This file has been truncated. show original

Roi · 18 يوليو 2024، 12:38م

إذًا، هل هذا يعمل بالفعل؟ هل سيؤدي إعداد DISCOURSE_MAXMIND_BACKUP_PATH في app.yml (كرابط داخلي من داخل الحاوية أو رابط مطلق على مضيف Docker؟) إلى تعطيل التنزيل من Maxmind أثناء إعادة البناء؟

pfaffman · 18 يوليو 2024، 12:54م

إنه في الكود. لم أستخدمه من قبل. يبدو أنه إذا قمت بتضمين مسار هناك، فسيجده. لا أتذكر، لكن أعتقد أنه مسار إلى الدليل.

Roi · 18 يوليو 2024، 2:04م

حسنًا، يمكنني المحاولة. لدي عدة مثيلات وواحد منها مخصص للاختبار فقط.

هل يمكنني معرفة ما إذا تم أخذ الملفات محليًا أم تم تنزيلها؟

إذًا شيء مثل /var/discourse/maxmind على مضيف Docker؟

pfaffman · 18 يوليو 2024، 2:11م

عذرًا. لست متأكدًا تمامًا. يبدو أنه يريد دليلًا، ويمكنك جعله أي شيء تريده، لذا ربما تضيف وحدة تخزين في ملف app.yml الخاص بك مثل

  - volume:
      host: /data/
      guest: /data

و DISCOURSE_maxmind_backup_path=/data/mmdb (تصحيح حالة متغير البيئة)

إليك الكود

github.com/discourse/discourse

lib/tasks/maxminddb.rake

6344e3f93


      
          end
          
          maxmind_thread = nil
          
          task "maxminddb:refresh": "environment" do
            refresh_days = GlobalSetting.refresh_maxmind_db_during_precompile_days
            next if refresh_days.to_i <= 0
          
            mmdb_time = get_mmdb_time(DiscourseIpInfo.path)
          
            if GlobalSetting.maxmind_backup_path.present?
              backup_mmdb_time = get_mmdb_time(GlobalSetting.maxmind_backup_path)
              puts "Detected MaxMindDB backup (downloaded: #{backup_mmdb_time}) at #{GlobalSetting.maxmind_backup_path}"
              mmdb_time ||= backup_mmdb_time
            end
          
            if backup_mmdb_time && backup_mmdb_time >= mmdb_time
              copy_maxmind(GlobalSetting.maxmind_backup_path, DiscourseIpInfo.path)
              mmdb_time = backup_mmdb_time
            end

github.com/discourse/discourse

lib/tasks/maxminddb.rake

6344e3f93


      
          GEOLITE_DBS ||= %w[GeoLite2-City GeoLite2-ASN]
          
          desc "downloads MaxMind's GeoLite2-City databases"
          task "maxminddb:get" => "environment" do
            GEOLITE_DBS.each do |name|
              puts "Downloading MaxMindDb's #{name}..."
              DiscourseIpInfo.mmdb_download(name)
            end
          end
          
          def get_mmdb_time(root_path)
            mmdb_time = nil
          
            GEOLITE_DBS.each do |name|
              path = File.join(root_path, "#{name}.mmdb")
          
              if File.exist?(path)
                mmdb_time = File.mtime(path)
              else
                mmdb_time = nil
                break

Roi · 18 يوليو 2024، 2:35م

شكراً لك مرة أخرى. لقد أنشأت /var/discourse/shared/discourse_test/data/mmdb وهنا ما فعلته لـ app.yml:

  ## مفتاح تحديد الموقع الجغرافي لعنوان IP للبحث عن عنوان IP
  ## انظر https://meta.discourse.org/t/-/137387/23 للتفاصيل
  DISCOURSE_MAXMIND_ACCOUNT_ID: 123456
  DISCOURSE_MAXMIND_LICENSE_KEY: abcdefg
  DISCOURSE_MAXMIND_BACKUP_PATH: /data/mmdb

## حاوية Docker عديمة الحالة؛ يتم تخزين جميع البيانات في /shared
volumes:
  - volume:
      host: /var/discourse/shared/discourse_test
      guest: /shared
  - volume:
      host: /var/discourse/shared/discourse_test/log/var-log
      guest: /var/log
  - volume:
      host: /var/discourse/shared/discourse_test/data
      guest: /data

لقد أضفت DISCOURSE_MAXMIND_BACKUP_PATH وأضفت مجلداً ثالثاً.

هل الدليل الخاص بـ DISCOURSE_MAXMIND_BACKUP_PATH صحيح؟ هل المسار هو المسار داخل الحاوية؟

هل أحتاج إلى إزالة DISCOURSE_MAXMIND_ACCOUNT_ID و DISCOURSE_MAXMIND_LICENSE_KEY الآن؟

عذراً، متحمس جداً وأيضاً غير واضح قليلاً.

Roi · 18 يوليو 2024، 3:55م

حسناً

تم اكتشاف نسخة احتياطية من MaxMindDB (تم تنزيلها: 2024-07-17 23:15:02 +0000) في /data/mmdb
جارٍ نسخ MaxMindDB من /data/mmdb إلى /var/www/discourse/vendor/data
تخطي تنزيل MaxMindDB حيث تم تنزيله آخر مرة في 2024-07-17 23:15:02 +0000

أعتقد أن هذا هو ما أردت (أو بالأحرى “أردنا”) رؤيته.

pfaffman · 18 يوليو 2024، 6:12م

أعتقد أنه كان بإمكانك تخطي وحدة التخزين الإضافية والقيام بـ

DISCOURSE_MAXMIND_BACKUP_PATH: /shared/data

ولكن إذا كانت لديك عملية أخرى تُبقي قاعدة البيانات هذه محدّثة في مكان آخر، فيمكنك تحميل هذا الدليل بحيث يكون لديك نسخة محلية واحدة فقط على محرك الأقراص الخاص بك وستحتاج إلى تحديث تلك النسخة الوحيدة.

Roi · 19 يوليو 2024، 4:54م

أعتقد أنني سأترك الأمر على هذا النحو. في نظري، إنها تهيئة أوضح يمكن فهمها بعد بضعة أشهر. كما أنها قد تكون أكثر عمومية وتناسب حالات استخدام أكثر من حالتي فقط.

أقوم بنسخ ملفات mmdb الثلاثة من Maxmind إلى هذا الدليل عند تنزيلها. لقد قمت للتو بتعديل البرنامج النصي الذي أستخدمه (بالمناسبة، للتنزيل أستخدم geoipupdate، وهو متاح أيضًا كحزمة لـ Debian (وعلى الأرجح لتوزيعات Linux الأخرى)).

لقد انتهيت للتو من إعادة بناء أربعة حاويات Discourse مختلفة، وكلها بدون أي خطأ! هذا لم يحدث منذ شهور هنا. رائع جدًا!

kuaza · 26 يوليو 2024، 11:42م

لا تزال هذه المشكلة قائمة. سأشرح الحادث بالتفصيل:
لقد قمت بتحديث من المسؤول، وتوقف في منتصف الطريق. لذلك بدأت إعادة تجميع من لوحة تحكم ssh. ظهر خطأ، مثال للخطأ أدناه.

ثم قمت بإنشاء مفتاح maxmind جديد وأعدت تجميعه، وظهر خطأ مرة أخرى، نفس الخطأ. (من المثير للاهتمام، ربما لم يتم تنشيط المفتاح).

ثم قمت بتعطيل إعداد maxmind في ملف app.yml. قمت بإعادة تجميعه ونجحت عملية التجميع.

الملحقات التي استخدمتها موضحة في الصورة، أشياء أخرى استخدمتها:

Cloudflare R2
خادم postgresql منفصل
cloudflare

لم أعد أستطيع تحديد سبب المشكلة.

الموضوع		الردود	مرات العرض
Rebuild failing due to MaxMind DB Bug maxmind	9	1600	21 يونيو 2019
Setting DISCOURSE_MAXMIND_LICENSE_KEY breaks docker image/container build Installation maxmind	22	1276	16 مايو 2024
Upgrade / Rebuilds Fail due to MaxMind DB EOL Installation maxmind	15	8546	6 مارس 2020
Update from 3.0.0.beta16 to 3.1.0.beta2 Installation	22	1296	30 أبريل 2023
Build failure, unable to download the MaxMind geolocation database Installation maxmind	9	1022	31 أكتوبر 2019

إعادة البناء دائماً تفشل عندما يتم استنفاد حد MAXMIND اليومي

الموضوعات ذات الصلة