La reconstrucción siempre falla cuando se agota el límite diario de MAXMIND

JammyDodger · 8 Julio, 2024 08:11

Acabo de intentar una reconstrucción y falló en este punto:

 - dist/javascripts/media-optimization-worker.js: 5.01 kB (1.74 kB gzipped)
 - dist/javascripts/pikaday/1.8.2/pikaday.js: 42.54 kB (9.67 kB gzipped)
 - dist/javascripts/squoosh/mozjpeg_enc.js: 39.03 kB (10.81 kB gzipped)
 - dist/javascripts/squoosh/squoosh_resize.js: 4.53 kB (1.28 kB gzipped)
Done in 355.08s.

I, [2024-07-08T07:59:42.015855 #1]  INFO -- : > cd /var/www/discourse & su discourse -c 'SKIP_EMBER_CLI_COMPILE=1 bundle exec rake themes:update assets:precompile'
Purging temp files
Bundling assets
I, [2024-07-08T07:59:57.247206 #1532]  INFO -- : Writing /var/www/discourse/public/assets/break_string-cc617154cd957804f2f6a1f3bc68258c9cdca3d4b9a322bf777d145fed04790e.js
I, [2024-07-08T07:59:57.264957 #1532]  INFO -- : Writing /var/www/discourse/public/assets/service-worker-9764e1cd771b38dbe65a0d1e42d89cb2cb5f72b266ab7316e55d3371cb0ac870.js
I, [2024-07-08T07:59:57.271269 #1532]  INFO -- : Writing /var/www/discourse/public/assets/locales/i18n-3b40e842fd72b9bcc74ea83e094c823cd9ca535e4ecc5e78722e6f99d3656137.js
I, [2024-07-08T07:59:57.277082 #1532]  INFO -- : Writing /var/www/discourse/public/assets/scripts/discourse-test-listen-boot-9b14a0fc65c689577e6a428dcfd680205516fe211700a71c7adb5cbcf4df2cc5.js
I, [2024-07-08T07:59:59.103776 #1532]  INFO -- : Writing /var/www/discourse/public/assets/locales/ar-dfed7a58f30378bc60d7a2cc8d6347524f68b272ae012f0232604f730e442f91.js
I, [2024-07-08T08:00:00.112555 #1532]  INFO -- : Writing /var/www/discourse/public/assets/locales/be-e12ac4c99df2289f422efd371dd3da766754aecb1189ea763fe003376aca9028.js
rake aborted!
Zlib::BufError: buffer error (Zlib::BufError)

kuaza · 8 Julio, 2024 14:38

Tengo una pregunta. ¿Estás usando S3? Sospecho que sí.

JammyDodger · 8 Julio, 2024 15:38

No No S3 para mí.

Roi · 16 Julio, 2024 19:22

No sé si esto solo sucede cuando se agota el límite diario. Pero sucede todo el tiempo aquí desde hace 2-3 meses. Además, otras personas parecen tener el mismo problema:

Quizás sería una buena idea proporcionar los archivos Maxmind desde un directorio local. De todos modos, lo descargo para otros usos, así que ya está ahí.

¿Y tal vez sería aún mejor proporcionar los archivos Maxmind en un directorio compartido dentro del contenedor de Discourse para tener siempre la versión actualizada? Como dije, de todos modos lo descargo y actualizo los archivos una vez al día.

kuaza · 16 Julio, 2024 19:29

Creo que el problema no está relacionado con el límite. En otras palabras, también da un error cuando se introduce una clave o un ID de cuenta incorrectos. Así es como podemos resolver el problema aquí: en caso de error, hacer que utilice la base de datos antigua y continúe reconstruyéndola. Por supuesto, es muy importante determinar la causa principal de este problema.

Intenté crear un ejemplo hace dos días y dio un error. No tenía nada que ver con el límite porque fue mi primera reconstrucción ese día. Luego creé una nueva clave y la probé y funcionó. Hay una situación aquí: cuando creas una clave, tarda un tiempo en activarse. Si la recreas inmediatamente, da un error.

interesante

Roi · 16 Julio, 2024 19:39

Bueno, mis claves son antiguas, nunca las cambié después de empezar a usarlas. ¿Por qué funciona cuando creas una clave nueva? Dijiste que tarda un tiempo hasta que se activa. ¿Entonces debería lanzar un error?

Esa es una buena idea. O ofrecer los archivos desde un directorio local, como sugerí. Todo opcional. Pero realmente me molesta que la reconstrucción sea como una lotería durante muchas semanas…

tgxworld · 16 Julio, 2024 22:38

Esto va en contra de los términos de uso de Maxmind, por lo que necesitamos que todos proporcionen las claves de API para descargar los archivos individualmente.

Me asigno a mí mismo para ver cuál es el problema cuando se alcanza el límite diario.

pfaffman · 17 Julio, 2024 00:54

La reconstrucción falló y luego construí la imagen con la configuración de maxmind desactivada. Y luego, dentro del contenedor, volví a activar la configuración y ejecuté la tarea de rake con éxito.

Quizás sea posible reconstruir sin descargar la base de datos y luego que la base de datos se descargue al iniciar el contenedor.

Además, agregué una PR que debería permitir que el bootstrap tenga éxito (que se fusionó) incluso si la descarga falla, pero aún así está causando que el bootstrap falle.

tgxworld · 17 Julio, 2024 00:58

Sí, creo que tienes razón aquí. Maxmind no es una característica crítica, por lo que no hay necesidad de que causemos que el arranque falle cuando no podemos descargar cosas.

Roi · 17 Julio, 2024 08:15

Creo que no entendiste lo que intenté decir. Déjame intentarlo de nuevo:

Tengo un script que descarga los archivos de Maxmind cada pocos días. Con mis propias claves de API, por supuesto. Los archivos se utilizan en el servidor para varias cosas, como estadísticas web de AWstats, plugins de WordPress y demás.

Así que tengo los archivos en la máquina de todos modos. ¿Por qué descargar los archivos (de nuevo) cuando reconstruyo el contenedor de Discourse?

Esa es una idea brillante.

pfaffman · 17 Julio, 2024 14:32

Sí. Sería genial poder tenerlos en almacenamiento persistente, especialmente si se pudieran compartir entre instancias. Tengo un puñado de sitios de Discourse en la misma máquina detrás de traefik, así que si todos pudieran compartir el mismo mmdb, ahorraría mantener y descargar un montón de copias separadas. Incluso en una instalación estándar, podrían persistir entre compilaciones. ¿Quizás eso ya sea posible? ¿Quizás simplemente montar /var/www/discourse/vendor/data en algún lugar persistente?

Ajá. Creo que para eso es GlobalSetting.maxmind_backup_path. Así que creo que si tienes un maxminddb por alguna razón, puedes establecer DISCOURSE_MAXMIND_BACKUP_PATH en algo que esté disponible en el contenedor.

Además, ¿por qué necesitamos mmdb para precompilar activos?

github.com/discourse/discourse

lib/tasks/assets.rake

main


      
          # frozen_string_literal: true
          
          task "assets:precompile:build" do
            if ENV["SKIP_EMBER_CLI_COMPILE"] != "1"
              ember_version = ENV["EMBER_VERSION"] || "5"
          
              raise "Unknown ember version '#{ember_version}'" if !%w[5].include?(ember_version)
          
              compile_command = "EMBER_ENV=production #{Rails.root}/script/assemble_ember_build.rb"
          
              only_ember_precompile_build_remaining = (ARGV.last == "assets:precompile:build")
              only_assets_precompile_remaining = (ARGV.last == "assets:precompile")
          
              # Using exec to free up Rails app memory during ember build
              if only_ember_precompile_build_remaining
                exec "#{compile_command}"
              elsif only_assets_precompile_remaining
                exec "#{compile_command} && SKIP_EMBER_CLI_COMPILE=1 bin/rake assets:precompile"
              else
                system compile_command, exception: true
                EmberCli.clear_cache!
              end
            end
          end
          
          task "assets:precompile:before": %w[environment assets:precompile:build]
          
          task "assets:precompile:css" => "environment" do
            if ENV["DONT_PRECOMPILE_CSS"] == "1" || ENV["SKIP_DB_AND_REDIS"] == "1"
              STDERR.puts "Skipping CSS precompilation, ensure CSS lives in a shared directory across hosts"
            else
              STDERR.puts "Start compiling CSS: #{Time.zone.now}"
          
              RailsMultisite::ConnectionManagement.each_connection do |db|
                # CSS will get precompiled during first request if tables do not exist.
                if ActiveRecord::Base.connection.table_exists?(Theme.table_name)
                  STDERR.puts "-------------"
                  STDERR.puts "Compiling CSS for #{db} #{Time.zone.now}"
                  begin
                    Stylesheet::Manager.recalculate_fs_asset_cachebuster!
                    Stylesheet::Manager.precompile_css if db == "default"
                    Stylesheet::Manager.precompile_theme_css
                  rescue PG::UndefinedColumn, ActiveModel::MissingAttributeError, NoMethodError => e
                    STDERR.puts "#{e.class} #{e.message}: #{e.backtrace.join("\n")}"
                    STDERR.puts "Skipping precompilation of CSS cause schema is old, you are precompiling prior to running migrations."
                  end
                end
              end
          
              STDERR.puts "Done compiling CSS: #{Time.zone.now}"
            end
          end
          
          task "assets:flush_sw" => "environment" do
            begin
              hostname = Discourse.current_hostname
              default_port = SiteSetting.force_https? ? 443 : 80
              port = SiteSetting.port.to_i > 0 ? SiteSetting.port : default_port
              STDERR.puts "Flushing service worker script"
              `curl -s -m 1 --resolve '#{hostname}:#{port}:127.0.0.1' #{Discourse.base_url}/service-worker.js > /dev/null`
              STDERR.puts "done"
            rescue StandardError
              STDERR.puts "Warning: unable to flush service worker script"
            end
          end
          
          def assets_path
            "#{Rails.root}/public/assets"
          end
          
          def gzip(path)
            cmd = "gzip -f -c -9 #{path} > #{path}.gz"
            system cmd, exception: true
          end
          
          def brotli_command(path)
            compression_quality = ENV["DISCOURSE_ASSETS_PRECOMPILE_DEFAULT_BROTLI_QUALITY"] || "6"
            "brotli -f --quality=#{compression_quality} #{path} --output=#{path}.br"
          end
          
          def brotli(path)
            system brotli_command(path), exception: true
          end
          
          def concurrent?
            if ENV["SPROCKETS_CONCURRENT"] == "1"
              concurrent_compressors = []
              executor = Concurrent::FixedThreadPool.new(Concurrent.processor_count)
          
              yield(
                Proc.new do |&block|
                  concurrent_compressors << Concurrent::Future.execute(executor: executor) { block.call }
                end
              )
          
              concurrent_compressors.each(&:wait!)
            else
              yield(Proc.new { |&block| block.call })
            end
          end
          
          def current_timestamp
            Process.clock_gettime(Process::CLOCK_MONOTONIC)
          end
          
          def log_task_duration(task_description, &task)
            task_start = current_timestamp
            task.call
            STDERR.puts "Done '#{task_description}' : #{(current_timestamp - task_start).round(2)} secs"
            STDERR.puts
          end
          
          task "assets:precompile:compress_js": "environment" do
            puts "Compressing JavaScript files"
          
            load_path = Rails.application.assets.load_path
          
            log_task_duration("Done compressing all JS files") do
              concurrent? do |proc|
                load_path
                  .assets
                  .select { |asset| asset.logical_path.extname == ".js" }
                  .each do |asset|
                    digested_path = asset.digested_path.to_s
          
                    if digested_path.include? "discourse/tests"
                      STDERR.puts "Skipping: #{digested_path}"
                      next
                    end
          
                    proc.call do
                      log_task_duration(digested_path) do
                        STDERR.puts "Compressing: #{digested_path}"
                        file_path = "public/assets/#{digested_path}"
                        gzip(file_path)
                        brotli(file_path)
                      end
                    end
                  end
              end
            end
          
            if GlobalSetting.fallback_assets_path.present?
              begin
                FileUtils.cp_r("#{Rails.root}/public/assets/.", GlobalSetting.fallback_assets_path)
              rescue => e
                STDERR.puts "Failed to backup assets to #{GlobalSetting.fallback_assets_path}"
                STDERR.puts e
                STDERR.puts e.backtrace
              end
            end
          end
          
          task "assets:precompile:asset_processor": "environment" do
            AssetProcessor.build_production_asset_processor
          end
          
          # Run these tasks **before** Rails' "assets:precompile" task
          task "assets:precompile": %w[assets:precompile:before assets:precompile:asset_processor]
          
          # Run these tasks **after** Rails' "assets:precompile" task
          Rake::Task["assets:precompile"].enhance do
            Rake::Task["assets:precompile:compress_js"].invoke
            Rake::Task["assets:precompile:css"].invoke
            Rake::Task["maxminddb:refresh"].invoke
          end

This file has been truncated. show original

Roi · 18 Julio, 2024 12:38

Entonces, ¿esto ya está funcionando? ¿Configurar DISCOURSE_MAXMIND_BACKUP_PATH en app.yml (como enlace interno desde el interior del contenedor o enlace absoluto en el host de Docker) deshabilitará una descarga de Maxmind durante la reconstrucción?

pfaffman · 18 Julio, 2024 12:54

Está en el código. Nunca lo he usado. Parece que si incluyes una ruta allí la encontrará. No recuerdo, pero creo que es una ruta al directorio.

Roi · 18 Julio, 2024 14:04

Claro, podría intentarlo. Tengo varias instancias y una es solo para pruebas.

¿Puedo ver si los archivos se tomaron localmente o se descargaron?

¿Entonces algo como /var/discourse/maxmind en el host de Docker?

pfaffman · 18 Julio, 2024 14:11

Lo siento. No estoy muy seguro. Parece que quiere un directorio, y puedes hacerlo como quieras, así que tal vez añadirías un volumen en tu app.yml como

  - volume:
      host: /data/
      guest: /data

y DISCOURSE_maxmind_backup_path=/data/mmdb (corrigiendo mayúsculas para la variable de entorno)

aquí está el código

github.com/discourse/discourse

lib/tasks/maxminddb.rake

6344e3f93


      
          end
          
          maxmind_thread = nil
          
          task "maxminddb:refresh": "environment" do
            refresh_days = GlobalSetting.refresh_maxmind_db_during_precompile_days
            next if refresh_days.to_i <= 0
          
            mmdb_time = get_mmdb_time(DiscourseIpInfo.path)
          
            if GlobalSetting.maxmind_backup_path.present?
              backup_mmdb_time = get_mmdb_time(GlobalSetting.maxmind_backup_path)
              puts "Detected MaxMindDB backup (downloaded: #{backup_mmdb_time}) at #{GlobalSetting.maxmind_backup_path}"
              mmdb_time ||= backup_mmdb_time
            end
          
            if backup_mmdb_time && backup_mmdb_time >= mmdb_time
              copy_maxmind(GlobalSetting.maxmind_backup_path, DiscourseIpInfo.path)
              mmdb_time = backup_mmdb_time
            end

github.com/discourse/discourse

lib/tasks/maxminddb.rake

6344e3f93


      
          GEOLITE_DBS ||= %w[GeoLite2-City GeoLite2-ASN]
          
          desc "downloads MaxMind's GeoLite2-City databases"
          task "maxminddb:get" => "environment" do
            GEOLITE_DBS.each do |name|
              puts "Downloading MaxMindDb's #{name}..."
              DiscourseIpInfo.mmdb_download(name)
            end
          end
          
          def get_mmdb_time(root_path)
            mmdb_time = nil
          
            GEOLITE_DBS.each do |name|
              path = File.join(root_path, "#{name}.mmdb")
          
              if File.exist?(path)
                mmdb_time = File.mtime(path)
              else
                mmdb_time = nil
                break

Roi · 18 Julio, 2024 14:35

Gracias de nuevo. Creé /var/discourse/shared/discourse_test/data/mmdb y esto es lo que hice en app.yml:

  ## La clave de cuenta de MaxMind para la búsqueda de direcciones IP de geolocalización
  ## ver https://meta.discourse.org/t/-/137387/23 para más detalles
  DISCOURSE_MAXMIND_ACCOUNT_ID: 123456
  DISCOURSE_MAXMIND_LICENSE_KEY: abcdefg
  DISCOURSE_MAXMIND_BACKUP_PATH: /data/mmdb

## El contenedor Docker no tiene estado; todos los datos se almacenan en /shared
volumes:
  - volume:
      host: /var/discourse/shared/discourse_test
      guest: /shared
  - volume:
      host: /var/discourse/shared/discourse_test/log/var-log
      guest: /var/log
  - volume:
      host: /var/discourse/shared/discourse_test/data
      guest: /data

Añadí DISCOURSE_MAXMIND_BACKUP_PATH y un tercer volumen.

¿Es correcto el directorio para DISCOURSE_MAXMIND_BACKUP_PATH? ¿Es la ruta dentro del contenedor?

¿Necesito eliminar DISCOURSE_MAXMIND_ACCOUNT_ID y DISCOURSE_MAXMIND_LICENSE_KEY ahora?

Lo siento, demasiado emocionado y también un poco confuso.

Roi · 18 Julio, 2024 15:55

Okayyyyyy

Se detectó una copia de seguridad de MaxMindDB (descargada: 2024-07-17 23:15:02 +0000) en /data/mmdb
Copiando MaxMindDB de /data/mmdb a /var/www/discourse/vendor/data
Omitiendo la descarga de MaxMindDB ya que se descargó por última vez el 2024-07-17 23:15:02 +0000

Creo que esto es lo que yo (o mejor dicho, “nosotros”) queríamos ver.

pfaffman · 18 Julio, 2024 18:12

Creo que podrías haber omitido el volumen adicional y haber hecho

DISCOURSE_MAXMIND_BACKUP_PATH: /shared/data

Pero si tienes algún otro proceso que mantiene esa base de datos actualizada en otro lugar, podrías montar ese directorio para tener solo una copia local en tu disco y necesitarías actualizar solo esa copia.

Roi · 19 Julio, 2024 16:54

Creo que lo dejaré así. En mi opinión, es una configuración más clara que aún se puede entender en unos meses. Además, podría ser más genérica y para más casos de uso que solo el mío.

Copio los tres archivos mmdb de Maxmind en ese directorio cuando los descargo. Simplemente ajusté el script que estoy usando (por cierto, para la descarga estoy usando geoipupdate, que también está disponible como paquete para Debian (y muy probablemente otras distribuciones de Linux)).

Acabo de terminar de reconstruir cuatro contenedores de Discourse diferentes, ¡todos sin ningún error! Esto no sucedía desde hace meses. ¡Así que genial!

kuaza · 26 Julio, 2024 23:42

Este problema aún persiste. Explicaré el incidente en detalle:
Hice una actualización desde el administrador, se detuvo a la mitad. Así que inicié una recompilación desde el panel ssh. Boom dio un error, un ejemplo de error está a continuación.

Luego creé una nueva clave de maxmind y la recompilé, dio un error nuevamente, el mismo error. (interesante, tal vez la clave no se activó).

Luego deshabilité la configuración de maxmind en el archivo app.yml. La recompilé y la compilación fue exitosa.

Los complementos que utilicé se muestran en la imagen, otras cosas que utilicé:

Cloudflare R2
servidor postgresql separado
cloudflare

Ya no puedo averiguar qué está causando el problema.

Tema		Respuestas	Vistas
Rebuild failing due to MaxMind DB Bug maxmind	9	1605	21 Junio 2019
Setting DISCOURSE_MAXMIND_LICENSE_KEY breaks docker image/container build Installation maxmind	22	1280	16 Mayo 2024
Upgrade / Rebuilds Fail due to MaxMind DB EOL Installation maxmind	15	8553	6 Marzo 2020
Update from 3.0.0.beta16 to 3.1.0.beta2 Installation	22	1297	30 Abril 2023
Build failure, unable to download the MaxMind geolocation database Installation maxmind	9	1022	31 Octubre 2019

La reconstrucción siempre falla cuando se agota el límite diario de MAXMIND

Temas relacionados