Пересборка всегда завершается неудачей, когда исчерпан дневной лимит MAXMIND

JammyDodger · 08.Июль.2024 08:11:51

Я только что попытался выполнить пересборку, и она завершилась неудачей на этом этапе:

 - dist/javascripts/media-optimization-worker.js: 5.01 kB (1.74 kB сжато)
 - dist/javascripts/pikaday/1.8.2/pikaday.js: 42.54 kB (9.67 kB сжато)
 - dist/javascripts/squoosh/mozjpeg_enc.js: 39.03 kB (10.81 kB сжато)
 - dist/javascripts/squoosh/squoosh_resize.js: 4.53 kB (1.28 kB сжато)
Готово за 355.08 с.

I, [2024-07-08T07:59:42.015855 #1]  INFO -- : > cd /var/www/discourse && su discourse -c 'SKIP_EMBER_CLI_COMPILE=1 bundle exec rake themes:update assets:precompile'
Очистка временных файлов
Упаковка ресурсов
I, [2024-07-08T07:59:57.247206 #1532]  INFO -- : Запись /var/www/discourse/public/assets/break_string-cc617154cd957804f2f6a1f3bc68258c9cdca3d4b9a322bf777d145fed04790e.js
I, [2024-07-08T07:59:57.264957 #1532]  INFO -- : Запись /var/www/discourse/public/assets/service-worker-9764e1cd771b38dbe65a0d1e42d89cb2cb5f72b266ab7316e55d3371cb0ac870.js
I, [2024-07-08T07:59:57.271269 #1532]  INFO -- : Запись /var/www/discourse/public/assets/locales/i18n-3b40e842fd72b9bcc74ea83e094c823cd9ca535e4ecc5e78722e6f99d3656137.js
I, [2024-07-08T07:59:57.277082 #1532]  INFO -- : Запись /var/www/discourse/public/assets/scripts/discourse-test-listen-boot-9b14a0fc65c689577e6a428dcfd680205516fe211700a71c7adb5cbcf4df2cc5.js
I, [2024-07-08T07:59:59.103776 #1532]  INFO -- : Запись /var/www/discourse/public/assets/locales/ar-dfed7a58f30378bc60d7a2cc8d6347524f68b272ae012f0232604f730e442f91.js
I, [2024-07-08T08:00:00.112555 #1532]  INFO -- : Запись /var/www/discourse/public/assets/locales/be-e12ac4c99df2289f422efd371dd3da766754aecb1189ea763fe003376aca9028.js
rake aborted!
Zlib::BufError: ошибка буфера (Zlib::BufError)

kuaza · 08.Июль.2024 14:38:00

У меня есть вопрос. Вы используете S3? Я тоже так подозреваю.

JammyDodger · 08.Июль.2024 15:38:04

Нет Нет S3 для меня.

Roi · 16.Июль.2024 19:22:00

Не знаю, происходит ли это только после исчерпания дневного лимита. Но у меня это случается постоянно уже 2–3 месяца. Похоже, у других людей та же проблема:

Возможно, было бы неплохо предоставлять файлы MaxMind из локальной директории? Я всё равно скачиваю их для других целей, так что они уже есть.

А ещё лучше, возможно, было бы размещать файлы MaxMind в общей директории внутри контейнера Discourse, чтобы всегда иметь актуальную версию? Как я уже сказал, я скачиваю их и обновляю файлы раз в день.

kuaza · 16.Июль.2024 19:29:54

Я думаю, что проблема не связана с лимитом. Иными словами, ошибка возникает также при вводе неверного ключа или идентификатора аккаунта. Вот как мы можем решить эту проблему: в случае ошибки использовать старую базу данных и продолжить её восстановление. Конечно, очень важно определить основную причину этой проблемы.

Два дня назад я попытался создать пример, и он выдал ошибку. Это не имело ничего общего с лимитом, так как это было моё первое восстановление в тот день. Затем я создал новый ключ, попробовал снова, и всё сработало. Здесь есть такая ситуация: при создании ключа требуется некоторое время для его активации. Если создать его снова немедленно, возникнет ошибка.

интересно

Roi · 16.Июль.2024 19:39:01

Что ж, мои ключи старые, я никогда их не менял после начала использования. Почему это работает, когда вы создаете новый ключ? Вы сказали, что требуется время, пока он не станет активным. Значит, тогда должно возникать сообщение об ошибке?

Это хорошая идея. Или предоставление файлов из локальной директории, как я предлагал. Всё опционально. Но меня действительно раздражает, что перестроение уже много недель напоминает лотерею…

tgxworld · 16.Июль.2024 22:38:31

Это противоречит условиям использования Maxmind, поэтому нам необходимо, чтобы каждый пользователь предоставлял свои API-ключи для индивидуальной загрузки файлов.

Назначаю себя для изучения проблемы, возникающей при достижении дневного лимита.

pfaffman · 17.Июль.2024 00:54:21

У меня не удавалось выполнить пересборку, поэтому я собрал образ с отключёнными настройками MaxMind. Затем внутри контейнера я добавил эти настройки обратно и успешно выполнил задачу rake.

Возможно, можно выполнить пересборку без загрузки базы данных, а затем загружать её при запуске контейнера?

Также я добавил PR, который должен позволять загрузке (bootstrap) завершаться успешно (он уже принят в основную ветку), даже если загрузка не удалась, но это всё ещё приводит к сбою загрузки.

tgxworld · 17.Июль.2024 00:58:33

Да, я думаю, что вы правы. MaxMind не является критически важной функцией, поэтому нам не стоит допускать сбоя процесса загрузки, если мы не можем загрузить данные.

Roi · 17.Июль.2024 08:15:47

Кажется, вы не совсем поняли, что я хотел сказать. Попробую ещё раз:

У меня есть скрипт, который каждые несколько дней загружает файлы Maxmind. Разумеется, с использованием моих собственных API-ключей. Эти файлы используются на сервере для различных задач, например, для веб-статистики AWstats, плагинов WordPress и так далее.

Таким образом, файлы уже есть на машине. Зачем загружать их (снова), когда я пересобираю контейнер Discourse?

Это блестящая идея.

pfaffman · 17.Июль.2024 14:32:23

Да. Было бы здорово иметь возможность хранить их в постоянном хранилище, особенно если это можно организовать с общим доступом между экземплярами. У меня на одной машине за traefik работает несколько сайтов Discourse, поэтому, если бы они все могли использовать один и тот же файл mmdb, это избавило бы от необходимости хранить и скачивать множество отдельных копий. Даже при стандартной установке они могли бы сохраняться между сборками. Возможно, это уже реализовано? Может быть, просто смонтировать /var/www/discourse/vendor/data в какое-то постоянное место?

Ага. Думаю, для этого и существует GlobalSetting.maxmind_backup_path. То есть, если у вас по какой-то причине есть maxminddb, вы можете установить переменную окружения DISCOURSE_MAXMIND_BACKUP_PATH в путь, доступный внутри контейнера.

Кстати, зачем вообще нужен mmdb для предварительной компиляции ассетов?

github.com/discourse/discourse

lib/tasks/assets.rake

main


      
          # frozen_string_literal: true
          
          task "assets:precompile:build" do
            if ENV["SKIP_EMBER_CLI_COMPILE"] != "1"
              ember_version = ENV["EMBER_VERSION"] || "5"
          
              raise "Unknown ember version '#{ember_version}'" if !%w[5].include?(ember_version)
          
              compile_command = "EMBER_ENV=production #{Rails.root}/script/assemble_ember_build.rb"
          
              only_ember_precompile_build_remaining = (ARGV.last == "assets:precompile:build")
              only_assets_precompile_remaining = (ARGV.last == "assets:precompile")
          
              # Using exec to free up Rails app memory during ember build
              if only_ember_precompile_build_remaining
                exec "#{compile_command}"
              elsif only_assets_precompile_remaining
                exec "#{compile_command} && SKIP_EMBER_CLI_COMPILE=1 bin/rake assets:precompile"
              else
                system compile_command, exception: true
                EmberCli.clear_cache!
              end
            end
          end
          
          task "assets:precompile:build_plugins": "environment" do
            if ENV["ROLLUP_PLUGIN_COMPILER"] != "0"
              Plugin::JsManager.new.compile!
            else
              puts "Skipping plugin JS compilation, set ROLLUP_PLUGIN_COMPILER=1 to enable"
            end
          end
          
          task "assets:precompile:before": %w[environment assets:precompile:build]
          
          task "assets:precompile:css" => "environment" do
            if ENV["DONT_PRECOMPILE_CSS"] == "1" || ENV["SKIP_DB_AND_REDIS"] == "1"
              STDERR.puts "Skipping CSS precompilation, ensure CSS lives in a shared directory across hosts"
            else
              STDERR.puts "Start compiling CSS: #{Time.zone.now}"
          
              RailsMultisite::ConnectionManagement.each_connection do |db|
                # CSS will get precompiled during first request if tables do not exist.
                if ActiveRecord::Base.connection.table_exists?(Theme.table_name)
                  STDERR.puts "-------------"
                  STDERR.puts "Compiling CSS for #{db} #{Time.zone.now}"
                  begin
                    Stylesheet::Manager.recalculate_fs_asset_cachebuster!
                    Stylesheet::Manager.precompile_css if db == "default"
                    Stylesheet::Manager.precompile_theme_css
                  rescue PG::UndefinedColumn, ActiveModel::MissingAttributeError, NoMethodError => e
                    STDERR.puts "#{e.class} #{e.message}: #{e.backtrace.join("\n")}"
                    STDERR.puts "Skipping precompilation of CSS cause schema is old, you are precompiling prior to running migrations."
                  end
                end
              end
          
              STDERR.puts "Done compiling CSS: #{Time.zone.now}"
            end
          end
          
          task "assets:flush_sw" => "environment" do
            begin
              hostname = Discourse.current_hostname
              default_port = SiteSetting.force_https? ? 443 : 80
              port = SiteSetting.port.to_i > 0 ? SiteSetting.port : default_port
              STDERR.puts "Flushing service worker script"
              `curl -s -m 1 --resolve '#{hostname}:#{port}:127.0.0.1' #{Discourse.base_url}/service-worker.js > /dev/null`
              STDERR.puts "done"
            rescue StandardError
              STDERR.puts "Warning: unable to flush service worker script"
            end
          end
          
          def assets_path
            "#{Rails.root}/public/assets"
          end
          
          def gzip(path)
            cmd = "gzip -f -c -9 #{path} > #{path}.gz"
            system cmd, exception: true
          end
          
          def brotli_command(path)
            compression_quality = ENV["DISCOURSE_ASSETS_PRECOMPILE_DEFAULT_BROTLI_QUALITY"] || "6"
            "brotli -f --quality=#{compression_quality} #{path} --output=#{path}.br"
          end
          
          def brotli(path)
            system brotli_command(path), exception: true
          end
          
          def concurrent?
            if ENV["SPROCKETS_CONCURRENT"] == "1"
              concurrent_compressors = []
              executor = Concurrent::FixedThreadPool.new(Concurrent.processor_count)
          
              yield(
                Proc.new do |&block|
                  concurrent_compressors << Concurrent::Future.execute(executor: executor) { block.call }
                end
              )
          
              concurrent_compressors.each(&:wait!)
            else
              yield(Proc.new { |&block| block.call })
            end
          end
          
          def current_timestamp
            Process.clock_gettime(Process::CLOCK_MONOTONIC)
          end
          
          def log_task_duration(task_description, &task)
            task_start = current_timestamp
            task.call
            STDERR.puts "Done '#{task_description}' : #{(current_timestamp - task_start).round(2)} secs"
          end
          
          task "assets:precompile:compress_js": "environment" do
            puts "Compressing JavaScript files"
          
            load_path = Rails.application.assets.load_path
          
            log_task_duration("Done compressing all JS files") do
              concurrent? do |proc|
                load_path
                  .assets
                  .select { |asset| asset.logical_path.extname == ".js" }
                  .each do |asset|
                    digested_path = asset.digested_path.to_s
          
                    if digested_path.include? "discourse/tests"
                      STDERR.puts "Skipping: #{digested_path}"
                      next
                    end
          
                    file_path = "public/assets/#{digested_path}"
          
                    if File.exist?("#{file_path}.gz") && File.exist?("#{file_path}.br")
                      STDERR.puts "Already compressed: #{digested_path}"
                      next
                    end
          
                    proc.call do
                      log_task_duration(digested_path) do
                        gzip(file_path)
                        brotli(file_path)
                      end
                    end
                  end
              end
            end
          
            if GlobalSetting.fallback_assets_path.present?
              begin
                FileUtils.cp_r("#{Rails.root}/public/assets/.", GlobalSetting.fallback_assets_path)
              rescue => e
                STDERR.puts "Failed to backup assets to #{GlobalSetting.fallback_assets_path}"
                STDERR.puts e
                STDERR.puts e.backtrace
              end
            end
          end
          
          task "assets:precompile:asset_processor": "environment" do
            AssetProcessor.load_or_build_processor_source
          end
          
          # Run these tasks **before** Rails' "assets:precompile" task
          task "assets:precompile": %w[assets:precompile:before assets:precompile:asset_processor]
          
          # Run these tasks **after** Rails' "assets:precompile" task
          Rake::Task["assets:precompile"].enhance do
            Rake::Task["assets:precompile:compress_js"].invoke
            Rake::Task["assets:precompile:css"].invoke
            Rake::Task["maxminddb:refresh"].invoke
          end

This file has been truncated. show original

Roi · 18.Июль.2024 12:38:51

Значит, это уже работает? Если задать DISCOURSE_MAXMIND_BACKUP_PATH в app.yml (как внутреннюю ссылку изнутри контейнера или абсолютный путь на хосте Docker?), это отключит загрузку с Maxmind во время пересборки?

pfaffman · 18.Июль.2024 12:54:31

Это в коде. Я никогда его не использовал. Похоже, если указать там путь, он его найдет. Я не помню точно, но думаю, что это путь к каталогу.

Roi · 18.Июль.2024 14:04:54

Хорошо, я могу попробовать. У меня есть несколько экземпляров, и один из них предназначен только для тестирования.

Могу ли я проверить, были ли файлы взяты локально или загружены?

То есть что-то вроде /var/discourse/maxmind на хосте Docker?

pfaffman · 18.Июль.2024 14:11:27

Извините, я не совсем уверен. Похоже, что требуется каталог, и вы можете назвать его как угодно. Возможно, вам стоит добавить том в ваш app.yml следующим образом:

  - volume:
      host: /data/
      guest: /data

а также установить DISCOURSE_maxmind_backup_path=/data/mmdb (исправив регистр для переменной окружения).

Вот код:

github.com/discourse/discourse

lib/tasks/maxminddb.rake

6344e3f93


      
          end
          
          maxmind_thread = nil
          
          task "maxminddb:refresh": "environment" do
            refresh_days = GlobalSetting.refresh_maxmind_db_during_precompile_days
            next if refresh_days.to_i <= 0
          
            mmdb_time = get_mmdb_time(DiscourseIpInfo.path)
          
            if GlobalSetting.maxmind_backup_path.present?
              backup_mmdb_time = get_mmdb_time(GlobalSetting.maxmind_backup_path)
              puts "Detected MaxMindDB backup (downloaded: #{backup_mmdb_time}) at #{GlobalSetting.maxmind_backup_path}"
              mmdb_time ||= backup_mmdb_time
            end
          
            if backup_mmdb_time && backup_mmdb_time >= mmdb_time
              copy_maxmind(GlobalSetting.maxmind_backup_path, DiscourseIpInfo.path)
              mmdb_time = backup_mmdb_time
            end

github.com/discourse/discourse

lib/tasks/maxminddb.rake

6344e3f93


      
          GEOLITE_DBS ||= %w[GeoLite2-City GeoLite2-ASN]
          
          desc "downloads MaxMind's GeoLite2-City databases"
          task "maxminddb:get" => "environment" do
            GEOLITE_DBS.each do |name|
              puts "Downloading MaxMindDb's #{name}..."
              DiscourseIpInfo.mmdb_download(name)
            end
          end
          
          def get_mmdb_time(root_path)
            mmdb_time = nil
          
            GEOLITE_DBS.each do |name|
              path = File.join(root_path, "#{name}.mmdb")
          
              if File.exist?(path)
                mmdb_time = File.mtime(path)
              else
                mmdb_time = nil
                break

Roi · 18.Июль.2024 14:35:17

Ещё раз спасибо. Я создал /var/discourse/shared/discourse_test/data/mmdb и вот что я добавил в app.yml:

  ## Ключ учётной записи MaxMind для определения геолокации по IP-адресу
  ## подробности см. на https://meta.discourse.org/t/-/137387/23
  DISCOURSE_MAXMIND_ACCOUNT_ID: 123456
  DISCOURSE_MAXMIND_LICENSE_KEY: abcdefg
  DISCOURSE_MAXMIND_BACKUP_PATH: /data/mmdb

## Контейнер Docker не сохраняет состояние; все данные хранятся в /shared
volumes:
  - volume:
      host: /var/discourse/shared/discourse_test
      guest: /shared
  - volume:
      host: /var/discourse/shared/discourse_test/log/var-log
      guest: /var/log
  - volume:
      host: /var/discourse/shared/discourse_test/data
      guest: /data

Я добавил DISCOURSE_MAXMIND_BACKUP_PATH и третий том.

Верно ли указано каталог для DISCOURSE_MAXMIND_BACKUP_PATH? Путь указывается внутри контейнера?

Нужно ли мне сейчас удалить DISCOURSE_MAXMIND_ACCOUNT_ID и DISCOURSE_MAXMIND_LICENSE_KEY?

Извините, слишком взволнован и немного запутался.

Roi · 18.Июль.2024 15:55:02

Океееей

Обнаружена резервная копия MaxMindDB (скачана: 2024-07-17 23:15:02 +0000) в /data/mmdb
Копирование MaxMindDB из /data/mmdb в /var/www/discourse/vendor/data
Пропуск загрузки MaxMindDB, так как она была загружена в последний раз 2024-07-17 23:15:02 +0000

Думаю, это именно то, что мы (или, лучше сказать, «мы») хотели увидеть.

pfaffman · 18.Июль.2024 18:12:28

Я думаю, вы могли бы пропустить дополнительный том и просто указать

DISCOURSE_MAXMIND_BACKUP_PATH: /shared/data

Однако, если у вас есть другой процесс, который обновляет эту базу данных в другом месте, вы можете смонтировать эту директорию. В этом случае у вас будет только одна локальная копия на вашем диске, и обновлять нужно будет лишь её.

Roi · 19.Июль.2024 16:54:07

Я думаю, оставлю всё как есть. На мой взгляд, это более понятная конфигурация, которую можно будет понять и через несколько месяцев. Кроме того, она может быть более универсальной и подходить для большего числа сценариев использования, чем только мой.

При загрузке я копирую три файла mmdb от MaxMind в эту директорию. Я просто адаптировал используемый мной скрипт (кстати, для загрузки я использую geoipupdate, который также доступен как пакет для Debian и, скорее всего, для других дистрибутивов Linux).

Только что успешно пересобрал четыре разных контейнера Discourse, и все без ошибок! У меня такого не случалось уже несколько месяцев. Отлично!

kuaza · 26.Июль.2024 23:42:54

Эта проблема всё ещё сохраняется. Я подробно объясню инцидент:
Я выполнил обновление из админ-панели, но оно прервалось на полпути. Тогда я запустил повторную компиляцию через панель SSH. Произошла ошибка, пример ошибки приведён ниже.

Затем я создал новый ключ MaxMind и снова запустил компиляцию, но ошибка возникла вновь — та же самая. (Интересно, возможно, ключ не был активирован).

После этого я отключил настройку MaxMind в файле app.yml. Я снова запустил компиляцию, и она прошла успешно.

Используемые мной дополнения показаны на изображении, остальные используемые компоненты:

Cloudflare R2
отдельный сервер PostgreSQL
Cloudflare

Я больше не могу понять, что вызывает проблему.

Тема		Ответов	Просм.
Rebuild failing due to MaxMind DB Bug maxmind	9	1643	21.06.2019
Setting DISCOURSE_MAXMIND_LICENSE_KEY breaks docker image/container build Self-hosting maxmind	22	1418	16.05.2024
Upgrade / Rebuilds Fail due to MaxMind DB EOL Self-hosting maxmind	15	8678	06.03.2020
Update from 3.0.0.beta16 to 3.1.0.beta2 Self-hosting	22	1380	30.04.2023
Build failure, unable to download the MaxMind geolocation database Self-hosting maxmind	9	1063	31.10.2019

Пересборка всегда завершается неудачей, когда исчерпан дневной лимит MAXMIND

Связанные темы