Rebuilding sempre falha quando o limite diário do MAXMIND é atingido

JammyDodger · Julho 8, 2024, 8:11am

Acabei de tentar uma reconstrução agora e falhou neste ponto:

 - dist/javascripts/media-optimization-worker.js: 5.01 kB (1.74 kB compactado)
 - dist/javascripts/pikaday/1.8.2/pikaday.js: 42.54 kB (9.67 kB compactado)
 - dist/javascripts/squoosh/mozjpeg_enc.js: 39.03 kB (10.81 kB compactado)
 - dist/javascripts/squoosh/squoosh_resize.js: 4.53 kB (1.28 kB compactado)
Concluído em 355.08s.

I, [2024-07-08T07:59:42.015855 #1]  INFO -- : cd /var/www/discourse & su discourse -c 'SKIP_EMBER_CLI_COMPILE=1 bundle exec rake themes:update assets:precompile'
Excluindo arquivos temporários
Empacotando ativos
I, [2024-07-08T07:59:57.247206 #1532]  INFO -- : Escrevendo /var/www/discourse/public/assets/break_string-cc617154cd957804f2f6a1f3bc68258c9cdca3d4b9a322bf777d145fed04790e.js
I, [2024-07-08T07:59:57.264957 #1532]  INFO -- : Escrevendo /var/www/discourse/public/assets/service-worker-9764e1cd771b38dbe65a0d1e42d89cb2cb5f72b266ab7316e55d3371cb0ac870.js
I, [2024-07-08T07:59:57.271269 #1532]  INFO -- : Escrevendo /var/www/discourse/public/assets/locales/i18n-3b40e842fd72b9bcc74ea83e094c823cd9ca535e4ecc5e78722e6f99d3656137.js
I, [2024-07-08T07:59:57.277082 #1532]  INFO -- : Escrevendo /var/www/discourse/public/assets/scripts/discourse-test-listen-boot-9b14a0fc65c689577e6a428dcfd680205516fe211700a71c7adb5cbcf4df2cc5.js
I, [2024-07-08T07:59:59.103776 #1532]  INFO -- : Escrevendo /var/www/discourse/public/assets/locales/ar-dfed7a58f30378bc60d7a2cc8d6347524f68b272ae012f0232604f730e442f91.js
I, [2024-07-08T08:00:00.112555 #1532]  INFO -- : Escrevendo /var/www/discourse/public/assets/locales/be-e12ac4c99df2289f422efd371dd3da766754aecb1189ea763fe003376aca9028.js
rake abortou!
Zlib::BufError: erro de buffer (Zlib::BufError)

kuaza · Julho 8, 2024, 2:38pm

Tenho uma pergunta. Você está usando S3? Suspeito que sim.

JammyDodger · Julho 8, 2024, 3:38pm

Não Não S3 para mim.

Roi · Julho 16, 2024, 7:22pm

Não sei se isso só acontece quando o limite diário é esgotado. Mas acontece o tempo todo aqui há 2-3 meses. Outras pessoas também parecem ter o mesmo problema:

Talvez fosse uma boa ideia fornecer os arquivos Maxmind de um diretório local? Eu baixo isso de qualquer maneira para outros usos, então já está lá.

E talvez fosse ainda melhor fornecer os arquivos Maxmind em um diretório compartilhado dentro do contêiner Discourse para ter sempre a versão atualizada? Como eu disse, eu baixo de qualquer maneira e atualizo os arquivos uma vez por dia.

kuaza · Julho 16, 2024, 7:29pm

Acho que o problema não está relacionado ao limite. Em outras palavras, ele também dá um erro quando uma chave ou ID de conta incorretos são inseridos. É assim que podemos resolver o problema aqui: em caso de erro, fazê-lo usar o banco de dados antigo e continuar a reconstruí-lo. Claro, é muito importante determinar a causa principal deste problema.

Tentei criar um exemplo dois dias atrás e ele deu um erro. Não tinha nada a ver com o limite porque foi minha primeira reconstrução naquele dia. Então criei uma nova chave e tentei e funcionou. Há uma situação aqui: quando você cria uma chave, leva um tempo para que ela se torne ativa. Se você a recriar imediatamente, ela dará um erro.

interessante

Roi · Julho 16, 2024, 7:39pm

Bem, minhas chaves são antigas, nunca as troquei depois de começar a usá-las. Por que está funcionando quando você cria uma nova chave? Você disse que leva um tempo até que ela fique ativa. Então deveria dar um erro?

Essa é uma boa ideia. Ou oferecer os arquivos de um diretório local, como eu sugeri. Tudo opcional. Mas realmente me incomoda que a reconstrução seja como uma loteria por muitas semanas agora…

tgxworld · Julho 16, 2024, 10:38pm

Isso é contra os termos de uso da Maxmind, e é por isso que precisamos fazer com que todos forneçam as chaves de API para baixar os arquivos individualmente.

Atribuindo a mim mesmo para verificar qual é o problema quando o limite diário é atingido.

pfaffman · Julho 17, 2024, 12:54am

Tive a reconstrução falhar e, em seguida, construí a imagem com as configurações do MaxMind desativadas. E então, dentro do contêiner, adicionei as configurações de volta e executei a tarefa do rake com sucesso.

Talvez seja possível reconstruir sem baixar o banco de dados e, em seguida, ter o banco de dados baixado quando o contêiner for iniciado?

Além disso, adicionei um PR que deve permitir que o bootstrap seja bem-sucedido (que foi mesclado) mesmo que o download falhe, mas ele ainda está causando a falha do bootstrap.

tgxworld · Julho 17, 2024, 12:58am

Sim, acho que você está certo. Maxmind não é um recurso crítico, então não há necessidade de fazer o bootstrap falhar quando não conseguimos baixar coisas.

Roi · Julho 17, 2024, 8:15am

Acho que você não entendeu o que eu tentei dizer. Deixe-me tentar novamente:

Tenho um script que baixa os arquivos Maxmind a cada poucos dias. Com minhas próprias chaves de API, é claro. Os arquivos são usados no servidor para várias coisas, como estatísticas da web AWstats, plugins do WordPress e assim por diante.

Então, eu tenho os arquivos na máquina de qualquer maneira. Por que baixar os arquivos (novamente) quando eu reconstruo o container do Discourse?

Essa é uma ideia brilhante.

pfaffman · Julho 17, 2024, 2:32pm

Sim. Seria ótimo ter esses arquivos em armazenamento persistente, especialmente se pudessem ser compartilhados entre instâncias. Tenho vários sites do Discourse na mesma máquina atrás do traefik, então se todos pudessem compartilhar o mesmo mmdb, isso economizaria a manutenção e o download de várias cópias separadas. Mesmo em uma instalação padrão, eles poderiam persistir entre as compilações. Talvez isso já seja possível? Talvez apenas montar /var/www/discourse/vendor/data em algum lugar persistente?

Aha. Acho que é para isso que serve GlobalSetting.maxmind_backup_path. Então, acho que se você tiver um maxminddb por algum motivo, pode definir DISCOURSE_MAXMIND_BACKUP_PATH para algo que esteja disponível no container.

Além disso, por que precisamos do mmdb para pré-compilar assets?

github.com/discourse/discourse

lib/tasks/assets.rake

main


      
          # frozen_string_literal: true
          
          task "assets:precompile:build" do
            if ENV["SKIP_EMBER_CLI_COMPILE"] != "1"
              ember_version = ENV["EMBER_VERSION"] || "5"
          
              raise "Unknown ember version '#{ember_version}'" if !%w[5].include?(ember_version)
          
              compile_command = "EMBER_ENV=production #{Rails.root}/script/assemble_ember_build.rb"
          
              only_ember_precompile_build_remaining = (ARGV.last == "assets:precompile:build")
              only_assets_precompile_remaining = (ARGV.last == "assets:precompile")
          
              # Using exec to free up Rails app memory during ember build
              if only_ember_precompile_build_remaining
                exec "#{compile_command}"
              elsif only_assets_precompile_remaining
                exec "#{compile_command} && SKIP_EMBER_CLI_COMPILE=1 bin/rake assets:precompile"
              else
                system compile_command, exception: true
                EmberCli.clear_cache!
              end
            end
          end
          
          task "assets:precompile:before": %w[environment assets:precompile:build]
          
          task "assets:precompile:css" => "environment" do
            if ENV["DONT_PRECOMPILE_CSS"] == "1" || ENV["SKIP_DB_AND_REDIS"] == "1"
              STDERR.puts "Skipping CSS precompilation, ensure CSS lives in a shared directory across hosts"
            else
              STDERR.puts "Start compiling CSS: #{Time.zone.now}"
          
              RailsMultisite::ConnectionManagement.each_connection do |db|
                # CSS will get precompiled during first request if tables do not exist.
                if ActiveRecord::Base.connection.table_exists?(Theme.table_name)
                  STDERR.puts "-------------"
                  STDERR.puts "Compiling CSS for #{db} #{Time.zone.now}"
                  begin
                    Stylesheet::Manager.recalculate_fs_asset_cachebuster!
                    Stylesheet::Manager.precompile_css if db == "default"
                    Stylesheet::Manager.precompile_theme_css
                  rescue PG::UndefinedColumn, ActiveModel::MissingAttributeError, NoMethodError => e
                    STDERR.puts "#{e.class} #{e.message}: #{e.backtrace.join("\n")}"
                    STDERR.puts "Skipping precompilation of CSS cause schema is old, you are precompiling prior to running migrations."
                  end
                end
              end
          
              STDERR.puts "Done compiling CSS: #{Time.zone.now}"
            end
          end
          
          task "assets:flush_sw" => "environment" do
            begin
              hostname = Discourse.current_hostname
              default_port = SiteSetting.force_https? ? 443 : 80
              port = SiteSetting.port.to_i > 0 ? SiteSetting.port : default_port
              STDERR.puts "Flushing service worker script"
              `curl -s -m 1 --resolve '#{hostname}:#{port}:127.0.0.1' #{Discourse.base_url}/service-worker.js > /dev/null`
              STDERR.puts "done"
            rescue StandardError
              STDERR.puts "Warning: unable to flush service worker script"
            end
          end
          
          def assets_path
            "#{Rails.root}/public/assets"
          end
          
          def gzip(path)
            cmd = "gzip -f -c -9 #{path} > #{path}.gz"
            system cmd, exception: true
          end
          
          def brotli_command(path)
            compression_quality = ENV["DISCOURSE_ASSETS_PRECOMPILE_DEFAULT_BROTLI_QUALITY"] || "6"
            "brotli -f --quality=#{compression_quality} #{path} --output=#{path}.br"
          end
          
          def brotli(path)
            system brotli_command(path), exception: true
          end
          
          def concurrent?
            if ENV["SPROCKETS_CONCURRENT"] == "1"
              concurrent_compressors = []
              executor = Concurrent::FixedThreadPool.new(Concurrent.processor_count)
          
              yield(
                Proc.new do |&block|
                  concurrent_compressors << Concurrent::Future.execute(executor: executor) { block.call }
                end
              )
          
              concurrent_compressors.each(&:wait!)
            else
              yield(Proc.new { |&block| block.call })
            end
          end
          
          def current_timestamp
            Process.clock_gettime(Process::CLOCK_MONOTONIC)
          end
          
          def log_task_duration(task_description, &task)
            task_start = current_timestamp
            task.call
            STDERR.puts "Done '#{task_description}' : #{(current_timestamp - task_start).round(2)} secs"
            STDERR.puts
          end
          
          task "assets:precompile:compress_js": "environment" do
            puts "Compressing JavaScript files"
          
            load_path = Rails.application.assets.load_path
          
            log_task_duration("Done compressing all JS files") do
              concurrent? do |proc|
                load_path
                  .assets
                  .select { |asset| asset.logical_path.extname == ".js" }
                  .each do |asset|
                    digested_path = asset.digested_path.to_s
          
                    if digested_path.include? "discourse/tests"
                      STDERR.puts "Skipping: #{digested_path}"
                      next
                    end
          
                    proc.call do
                      log_task_duration(digested_path) do
                        STDERR.puts "Compressing: #{digested_path}"
                        file_path = "public/assets/#{digested_path}"
                        gzip(file_path)
                        brotli(file_path)
                      end
                    end
                  end
              end
            end
          
            if GlobalSetting.fallback_assets_path.present?
              begin
                FileUtils.cp_r("#{Rails.root}/public/assets/.", GlobalSetting.fallback_assets_path)
              rescue => e
                STDERR.puts "Failed to backup assets to #{GlobalSetting.fallback_assets_path}"
                STDERR.puts e
                STDERR.puts e.backtrace
              end
            end
          end
          
          task "assets:precompile:asset_processor": "environment" do
            AssetProcessor.build_production_asset_processor
          end
          
          # Run these tasks **before** Rails' "assets:precompile" task
          task "assets:precompile": %w[assets:precompile:before assets:precompile:asset_processor]
          
          # Run these tasks **after** Rails' "assets:precompile" task
          Rake::Task["assets:precompile"].enhance do
            Rake::Task["assets:precompile:compress_js"].invoke
            Rake::Task["assets:precompile:css"].invoke
            Rake::Task["maxminddb:refresh"].invoke
          end

This file has been truncated. show original

Roi · Julho 18, 2024, 12:38pm

Então isso já está funcionando? Configurar DISCOURSE_MAXMIND_BACKUP_PATH em app.yml (como link interno de dentro do contêiner ou link absoluto no host Docker?) desativará um download do Maxmind durante a reconstrução?

pfaffman · Julho 18, 2024, 12:54pm

Está no código. Eu nunca o usei. Parece que se você incluir um caminho lá, ele o encontrará. Não me lembro, mas acho que é um caminho para o diretório.

Roi · Julho 18, 2024, 2:04pm

Ok, eu poderia tentar. Tenho várias instâncias e uma é apenas para testes.

Posso ver se os arquivos foram retirados localmente ou foram baixados?

Então algo como /var/discourse/maxmind no host Docker?

pfaffman · Julho 18, 2024, 2:11pm

Desculpe. Não tenho muita certeza. Parece que ele quer um diretório, e você pode torná-lo o que quiser, então talvez você adicione um volume em seu app.yml como

  - volume:
      host: /data/
      guest: /data

e DISCOURSE_maxmind_backup_path=/data/mmdb (corrigindo maiúsculas/minúsculas para a variável de ambiente)

aqui está o código

github.com/discourse/discourse

lib/tasks/maxminddb.rake

6344e3f93


      
          end
          
          maxmind_thread = nil
          
          task "maxminddb:refresh": "environment" do
            refresh_days = GlobalSetting.refresh_maxmind_db_during_precompile_days
            next if refresh_days.to_i <= 0
          
            mmdb_time = get_mmdb_time(DiscourseIpInfo.path)
          
            if GlobalSetting.maxmind_backup_path.present?
              backup_mmdb_time = get_mmdb_time(GlobalSetting.maxmind_backup_path)
              puts "Detected MaxMindDB backup (downloaded: #{backup_mmdb_time}) at #{GlobalSetting.maxmind_backup_path}"
              mmdb_time ||= backup_mmdb_time
            end
          
            if backup_mmdb_time && backup_mmdb_time >= mmdb_time
              copy_maxmind(GlobalSetting.maxmind_backup_path, DiscourseIpInfo.path)
              mmdb_time = backup_mmdb_time
            end

github.com/discourse/discourse

lib/tasks/maxminddb.rake

6344e3f93


      
          GEOLITE_DBS ||= %w[GeoLite2-City GeoLite2-ASN]
          
          desc "downloads MaxMind's GeoLite2-City databases"
          task "maxminddb:get" => "environment" do
            GEOLITE_DBS.each do |name|
              puts "Downloading MaxMindDb's #{name}..."
              DiscourseIpInfo.mmdb_download(name)
            end
          end
          
          def get_mmdb_time(root_path)
            mmdb_time = nil
          
            GEOLITE_DBS.each do |name|
              path = File.join(root_path, "#{name}.mmdb")
          
              if File.exist?(path)
                mmdb_time = File.mtime(path)
              else
                mmdb_time = nil
                break

Roi · Julho 18, 2024, 2:35pm

Obrigado novamente. Criei /var/discourse/shared/discourse_test/data/mmdb e aqui está o que fiz em app.yml:

  ## A chave da conta MaxMind para pesquisa de endereço IP de geolocalização
  ## veja https://meta.discourse.org/t/-/137387/23 para detalhes
  DISCOURSE_MAXMIND_ACCOUNT_ID: 123456
  DISCOURSE_MAXMIND_LICENSE_KEY: abcdefg
  DISCOURSE_MAXMIND_BACKUP_PATH: /data/mmdb

## O contêiner Docker é sem estado; todos os dados são armazenados em /shared
volumes:
  - volume:
      host: /var/discourse/shared/discourse_test
      guest: /shared
  - volume:
      host: /var/discourse/shared/discourse_test/log/var-log
      guest: /var/log
  - volume:
      host: /var/discourse/shared/discourse_test/data
      guest: /data

Adicionei DISCOURSE_MAXMIND_BACKUP_PATH e um terceiro volume.

O diretório para DISCOURSE_MAXMIND_BACKUP_PATH está correto? O caminho é o caminho dentro do contêiner?

Preciso remover DISCOURSE_MAXMIND_ACCOUNT_ID e DISCOURSE_MAXMIND_LICENSE_KEY agora?

Desculpe, muito animado e também um pouco confuso.

Roi · Julho 18, 2024, 3:55pm

Okaysss

MaxMindDB de backup detectado (baixado: 2024-07-17 23:15:02 +0000) em /data/mmdb
Copiando MaxMindDB de /data/mmdb para /var/www/discourse/vendor/data
Ignorando o download do MaxMindDB, pois foi baixado pela última vez em 2024-07-17 23:15:02 +0000

Acho que é isso que eu (ou melhor, “nós”) queríamos ver.

pfaffman · Julho 18, 2024, 6:12pm

Acho que você poderia ter pulado o volume extra e feito

DISCOURSE_MAXMIND_BACKUP_PATH: /shared/data

Mas se você tiver algum outro processo que mantém esse banco de dados atualizado em outro lugar, você pode montar esse diretório para ter apenas uma cópia local em seu disco e precisar atualizar apenas essa cópia.

Roi · Julho 19, 2024, 4:54pm

Acho que vou deixar assim. A meus olhos, é uma configuração mais clara que ainda pode ser compreendida em alguns meses. Também pode ser mais genérica e para mais casos de uso do que apenas o meu.

Estou copiando os três arquivos mmdb do Maxmind para esse diretório ao baixá-los. Apenas ajustei o script que estou usando (a propósito, para download estou usando geoipupdate, que também está disponível como um pacote para Debian (e muito provavelmente outras distribuições Linux)).

Acabei de reconstruir quatro contêineres diferentes do Discourse, todos sem nenhum erro! Isso não acontecia há meses aqui. Ótimo!

kuaza · Julho 26, 2024, 11:42pm

Este problema ainda persiste. Explicarei o incidente em detalhes:
Fiz uma atualização do admin, parou no meio. Então iniciei uma recompilação do painel ssh. Boom deu um erro, exemplo de erro abaixo.

Então criei uma nova chave maxmind e recompilar, deu erro novamente, mesmo erro. (interessante, talvez a chave não tenha sido ativada).

Então desabilitei a configuração maxmind no arquivo app.yml. Recompilei e a compilação foi bem-sucedida.

Os add-ons que usei estão na imagem, outras coisas que usei:

Cloudflare R2
servidor postgresql separado
cloudflare

Não consigo mais descobrir o que está causando o problema.

Tópico		Respostas	Visualizações
Rebuild failing due to MaxMind DB Bug maxmind	9	1600	21 de Junho de 2019
Setting DISCOURSE_MAXMIND_LICENSE_KEY breaks docker image/container build Installation maxmind	22	1276	16 de Maio de 2024
Upgrade / Rebuilds Fail due to MaxMind DB EOL Installation maxmind	15	8546	6 de Março de 2020
Update from 3.0.0.beta16 to 3.1.0.beta2 Installation	22	1296	30 de Abril de 2023
Build failure, unable to download the MaxMind geolocation database Installation maxmind	9	1022	31 de Outubro de 2019

Rebuilding sempre falha quando o limite diário do MAXMIND é atingido

Tópicos relacionados