Das Wiederaufbauen schlägt immer fehl, wenn das MAXMIND-Tageslimit erreicht ist

JammyDodger · 8. Juli 2024 um 08:11

Ich habe gerade einen erneuten Build versucht und er ist an diesem Punkt fehlgeschlagen:

 - dist/javascripts/media-optimization-worker.js: 5.01 kB (1.74 kB komprimiert)
 - dist/javascripts/pikaday/1.8.2/pikaday.js: 42.54 kB (9.67 kB komprimiert)
 - dist/javascripts/squoosh/mozjpeg_enc.js: 39.03 kB (10.81 kB komprimiert)
 - dist/javascripts/squoosh/squoosh_resize.js: 4.53 kB (1.28 kB komprimiert)
Fertig in 355,08s.

I, [2024-07-08T07:59:42.015855 #1]  INFO -- : cd /var/www/discourse & su discourse -c 'SKIP_EMBER_CLI_COMPILE=1 bundle exec rake themes:update assets:precompile'
Purging temp files
Bundling assets
I, [2024-07-08T07:59:57.247206 #1532]  INFO -- : Writing /var/www/discourse/public/assets/break_string-cc617154cd957804f2f6a1f3bc68258c9cdca3d4b9a322bf777d145fed04790e.js
I, [2024-07-08T07:59:57.264957 #1532]  INFO -- : Writing /var/www/discourse/public/assets/service-worker-9764e1cd771b38dbe65a0d1e42d89cb2cb5f72b266ab7316e55d3371cb0ac870.js
I, [2024-07-08T07:59:57.271269 #1532]  INFO -- : Writing /var/www/discourse/public/assets/locales/i18n-3b40e842fd72b9bcc74ea83e094c823cd9ca535e4ecc5e78722e6f99d3656137.js
I, [2024-07-08T07:59:57.277082 #1532]  INFO -- : Writing /var/www/discourse/public/assets/scripts/discourse-test-listen-boot-9b14a0fc65c689577e6a428dcfd680205516fe211700a71c7adb5cbcf4df2cc5.js
I, [2024-07-08T07:59:59.103776 #1532]  INFO -- : Writing /var/www/discourse/public/assets/locales/ar-dfed7a58f30378bc60d7a2cc8d6347524f68b272ae012f0232604f730e442f91.js
I, [2024-07-08T08:00:00.112555 #1532]  INFO -- : Writing /var/www/discourse/public/assets/locales/be-e12ac4c99df2289f422efd371dd3da766754aecb1189ea763fe003376aca9028.js
rake aborted!
Zlib::BufError: buffer error (Zlib::BufError)

kuaza · 8. Juli 2024 um 14:38

Ich habe eine Frage. Benutzen Sie S3? Das vermute ich auch.

JammyDodger · 8. Juli 2024 um 15:38

Nein Kein S3 für mich.

Roi · 16. Juli 2024 um 19:22

Ich weiß nicht, ob das nur passiert, wenn das Tageslimit erschöpft ist. Aber hier passiert das seit 2-3 Monaten ständig. Auch andere Leute scheinen das gleiche Problem zu haben:

Vielleicht wäre es eine gute Idee, die Maxmind-Dateien aus einem lokalen Verzeichnis bereitzustellen? Ich lade diese sowieso für andere Zwecke herunter, also sind sie bereits vorhanden.

Und vielleicht wäre es noch besser, die Maxmind-Dateien in einem gemeinsamen Verzeichnis im Discourse-Container bereitzustellen, um immer die aktuellste Version zu haben? Wie gesagt, ich lade sie sowieso herunter und aktualisiere die Dateien einmal täglich.

kuaza · 16. Juli 2024 um 19:29

Ich glaube, das Problem hängt nicht mit dem Limit zusammen. Anders ausgedrückt, es gibt auch einen Fehler, wenn ein falscher Schlüssel oder eine falsche Konto-ID eingegeben wird. Hier ist, wie wir das Problem lösen können: Im Fehlerfall soll die alte Datenbank verwendet und mit dem Wiederaufbau fortgefahren werden. Natürlich ist es sehr wichtig, die Hauptursache dieses Problems zu ermitteln.

Ich habe vor zwei Tagen versucht, ein Beispiel zu erstellen, und es gab einen Fehler. Es hatte nichts mit dem Limit zu tun, da es mein erster Wiederaufbau an diesem Tag war. Dann habe ich einen neuen Schlüssel erstellt und es versucht, und es hat funktioniert. Hier gibt es eine Situation: Wenn Sie einen Schlüssel erstellen, dauert es eine Weile, bis er aktiv wird. Wenn Sie ihn sofort neu erstellen, gibt es einen Fehler.

Interessant

Roi · 16. Juli 2024 um 19:39

Nun, meine Schlüssel sind alt, ich habe sie nie geändert, seit ich sie benutze. Warum funktioniert es, wenn du einen neuen Schlüssel erstellst? Du sagtest, es dauert eine Weile, bis er aktiv wird. Also sollte er dann einen Fehler ausgeben?

Das ist eine gute Idee. Oder die Dateien aus einem lokalen Verzeichnis anbieten, wie ich vorgeschlagen habe. Alles optional. Aber es ärgert mich wirklich, dass der Wiederaufbau seit vielen Wochen wie eine Lotterie ist…

tgxworld · 16. Juli 2024 um 22:38

Dies verstößt gegen die Nutzungsbedingungen von Maxmind, weshalb wir jeden dazu bringen müssen, die API-Schlüssel bereitzustellen, um die Dateien einzeln herunterzuladen.

Ich weise mir selbst zu, mir anzusehen, was das Problem ist, wenn das Tageslimit erreicht wurde.

pfaffman · 17. Juli 2024 um 00:54

Ich hatte den Neuaufbau fehlschlagen lassen und dann das Image mit deaktivierten MaxMind-Einstellungen erstellt. Und dann innerhalb des Containers die Einstellungen wieder hinzugefügt und die Rake-Aufgabe erfolgreich ausgeführt.

Vielleicht ist es möglich, ohne Herunterladen der Datenbank neu aufzubauen und dann die Datenbank beim Starten des Containers herunterladen zu lassen?

Außerdem habe ich einen PR hinzugefügt, der den Bootstrap auch dann erfolgreich machen sollte (der zusammengeführt wurde), wenn der Download fehlschlägt, aber er verursacht immer noch einen Bootstrap-Fehler.

tgxworld · 17. Juli 2024 um 00:58

Ja, ich denke, Sie haben hier Recht. Maxmind ist keine kritische Funktion, daher müssen wir den Bootstrap nicht fehlschlagen lassen, wenn wir keine Daten herunterladen können.

Roi · 17. Juli 2024 um 08:15

Ich glaube, Sie haben nicht verstanden, was ich sagen wollte. Lassen Sie es mich noch einmal versuchen:

Ich habe ein Skript, das die Maxmind-Dateien alle paar Tage herunterlädt. Natürlich mit meinen eigenen API-Schlüsseln. Die Dateien werden auf dem Server für verschiedene Dinge wie AWstats Webstatistiken, WordPress-Plugins usw. verwendet.

Ich habe die Dateien also sowieso auf der Maschine. Warum die Dateien (noch einmal) herunterladen, wenn ich den Discourse-Container neu erstelle?

Das ist eine brillante Idee.

pfaffman · 17. Juli 2024 um 14:32

Ja. Es wäre großartig, diese in persistentem Speicher haben zu können, besonders wenn sie über Instanzen hinweg geteilt werden könnten. Ich habe eine Handvoll Discourse-Sites auf derselben Maschine hinter Traefik, also wenn sie alle dieselbe mmdb teilen könnten, würde das das Aufbewahren und Herunterladen vieler separater Kopien sparen. Selbst bei einer Standardinstallation könnten sie zwischen Builds bestehen bleiben. Vielleicht ist das schon möglich? Vielleicht einfach /var/www/discourse/vendor/data irgendwo persistent einhängen?

Aha. Ich glaube, dafür ist GlobalSetting.maxmind_backup_path da. Ich glaube also, wenn man aus irgendeinem Grund eine maxminddb hat, kann man DISCOURSE_MAXMIND_BACKUP_PATH auf etwas setzen, das im Container verfügbar ist.

Außerdem, warum brauchen wir mmdb, um Assets zu kompilieren?

github.com/discourse/discourse

lib/tasks/assets.rake

main


      
          # frozen_string_literal: true
          
          task "assets:precompile:build" do
            if ENV["SKIP_EMBER_CLI_COMPILE"] != "1"
              ember_version = ENV["EMBER_VERSION"] || "5"
          
              raise "Unknown ember version '#{ember_version}'" if !%w[5].include?(ember_version)
          
              compile_command = "EMBER_ENV=production #{Rails.root}/script/assemble_ember_build.rb"
          
              only_ember_precompile_build_remaining = (ARGV.last == "assets:precompile:build")
              only_assets_precompile_remaining = (ARGV.last == "assets:precompile")
          
              # Using exec to free up Rails app memory during ember build
              if only_ember_precompile_build_remaining
                exec "#{compile_command}"
              elsif only_assets_precompile_remaining
                exec "#{compile_command} && SKIP_EMBER_CLI_COMPILE=1 bin/rake assets:precompile"
              else
                system compile_command, exception: true
                EmberCli.clear_cache!
              end
            end
          end
          
          task "assets:precompile:before": %w[environment assets:precompile:build]
          
          task "assets:precompile:css" => "environment" do
            if ENV["DONT_PRECOMPILE_CSS"] == "1" || ENV["SKIP_DB_AND_REDIS"] == "1"
              STDERR.puts "Skipping CSS precompilation, ensure CSS lives in a shared directory across hosts"
            else
              STDERR.puts "Start compiling CSS: #{Time.zone.now}"
          
              RailsMultisite::ConnectionManagement.each_connection do |db|
                # CSS will get precompiled during first request if tables do not exist.
                if ActiveRecord::Base.connection.table_exists?(Theme.table_name)
                  STDERR.puts "-------------"
                  STDERR.puts "Compiling CSS for #{db} #{Time.zone.now}"
                  begin
                    Stylesheet::Manager.recalculate_fs_asset_cachebuster!
                    Stylesheet::Manager.precompile_css if db == "default"
                    Stylesheet::Manager.precompile_theme_css
                  rescue PG::UndefinedColumn, ActiveModel::MissingAttributeError, NoMethodError => e
                    STDERR.puts "#{e.class} #{e.message}: #{e.backtrace.join("\n")}"
                    STDERR.puts "Skipping precompilation of CSS cause schema is old, you are precompiling prior to running migrations."
                  end
                end
              end
          
              STDERR.puts "Done compiling CSS: #{Time.zone.now}"
            end
          end
          
          task "assets:flush_sw" => "environment" do
            begin
              hostname = Discourse.current_hostname
              default_port = SiteSetting.force_https? ? 443 : 80
              port = SiteSetting.port.to_i > 0 ? SiteSetting.port : default_port
              STDERR.puts "Flushing service worker script"
              `curl -s -m 1 --resolve '#{hostname}:#{port}:127.0.0.1' #{Discourse.base_url}/service-worker.js > /dev/null`
              STDERR.puts "done"
            rescue StandardError
              STDERR.puts "Warning: unable to flush service worker script"
            end
          end
          
          def assets_path
            "#{Rails.root}/public/assets"
          end
          
          def gzip(path)
            cmd = "gzip -f -c -9 #{path} > #{path}.gz"
            system cmd, exception: true
          end
          
          def brotli_command(path)
            compression_quality = ENV["DISCOURSE_ASSETS_PRECOMPILE_DEFAULT_BROTLI_QUALITY"] || "6"
            "brotli -f --quality=#{compression_quality} #{path} --output=#{path}.br"
          end
          
          def brotli(path)
            system brotli_command(path), exception: true
          end
          
          def concurrent?
            if ENV["SPROCKETS_CONCURRENT"] == "1"
              concurrent_compressors = []
              executor = Concurrent::FixedThreadPool.new(Concurrent.processor_count)
          
              yield(
                Proc.new do |&block|
                  concurrent_compressors << Concurrent::Future.execute(executor: executor) { block.call }
                end
              )
          
              concurrent_compressors.each(&:wait!)
            else
              yield(Proc.new { |&block| block.call })
            end
          end
          
          def current_timestamp
            Process.clock_gettime(Process::CLOCK_MONOTONIC)
          end
          
          def log_task_duration(task_description, &task)
            task_start = current_timestamp
            task.call
            STDERR.puts "Done '#{task_description}' : #{(current_timestamp - task_start).round(2)} secs"
            STDERR.puts
          end
          
          task "assets:precompile:compress_js": "environment" do
            puts "Compressing JavaScript files"
          
            load_path = Rails.application.assets.load_path
          
            log_task_duration("Done compressing all JS files") do
              concurrent? do |proc|
                load_path
                  .assets
                  .select { |asset| asset.logical_path.extname == ".js" }
                  .each do |asset|
                    digested_path = asset.digested_path.to_s
          
                    if digested_path.include? "discourse/tests"
                      STDERR.puts "Skipping: #{digested_path}"
                      next
                    end
          
                    proc.call do
                      log_task_duration(digested_path) do
                        STDERR.puts "Compressing: #{digested_path}"
                        file_path = "public/assets/#{digested_path}"
                        gzip(file_path)
                        brotli(file_path)
                      end
                    end
                  end
              end
            end
          
            if GlobalSetting.fallback_assets_path.present?
              begin
                FileUtils.cp_r("#{Rails.root}/public/assets/.", GlobalSetting.fallback_assets_path)
              rescue => e
                STDERR.puts "Failed to backup assets to #{GlobalSetting.fallback_assets_path}"
                STDERR.puts e
                STDERR.puts e.backtrace
              end
            end
          end
          
          task "assets:precompile:asset_processor": "environment" do
            AssetProcessor.build_production_asset_processor
          end
          
          # Run these tasks **before** Rails' "assets:precompile" task
          task "assets:precompile": %w[assets:precompile:before assets:precompile:asset_processor]
          
          # Run these tasks **after** Rails' "assets:precompile" task
          Rake::Task["assets:precompile"].enhance do
            Rake::Task["assets:precompile:compress_js"].invoke
            Rake::Task["assets:precompile:css"].invoke
            Rake::Task["maxminddb:refresh"].invoke
          end

This file has been truncated. show original

Roi · 18. Juli 2024 um 12:38

Funktioniert das also schon? Verhindert die Einrichtung von DISCOURSE_MAXMIND_BACKUP_PATH in app.yml (als interner Link aus dem Container oder absoluter Link auf dem Docker-Host) einen Download von Maxmind während des Rebuilds?

pfaffman · 18. Juli 2024 um 12:54

Es ist im Code. Ich habe es noch nie benutzt. Es sieht so aus, als ob es es finden würde, wenn man dort einen Pfad einfügt. Ich kann mich nicht erinnern, aber ich glaube, es ist ein Pfad zum Verzeichnis.

Roi · 18. Juli 2024 um 14:04

Okay, ich könnte es versuchen. Ich habe mehrere Instanzen und eine ist nur zum Testen.

Kann ich sehen, ob die Dateien lokal genommen oder heruntergeladen wurden?

Also so etwas wie /var/discourse/maxmind auf dem Docker-Host?

pfaffman · 18. Juli 2024 um 14:11

Entschuldigung. Ich bin mir nicht ganz sicher. Es sieht so aus, als ob ein Verzeichnis benötigt wird, und Sie können es beliebig benennen. Vielleicht fügen Sie in Ihrer app.yml ein Volume hinzu, wie z. B.

  - volume:
      host: /data/
      guest: /data

und DISCOURSE_maxmind_backup_path=/data/mmdb (korrigierte Groß-/Kleinschreibung für die Umgebungsvariable).

Hier ist der Code:

github.com/discourse/discourse

lib/tasks/maxminddb.rake

6344e3f93


      
          end
          
          maxmind_thread = nil
          
          task "maxminddb:refresh": "environment" do
            refresh_days = GlobalSetting.refresh_maxmind_db_during_precompile_days
            next if refresh_days.to_i <= 0
          
            mmdb_time = get_mmdb_time(DiscourseIpInfo.path)
          
            if GlobalSetting.maxmind_backup_path.present?
              backup_mmdb_time = get_mmdb_time(GlobalSetting.maxmind_backup_path)
              puts "Detected MaxMindDB backup (downloaded: #{backup_mmdb_time}) at #{GlobalSetting.maxmind_backup_path}"
              mmdb_time ||= backup_mmdb_time
            end
          
            if backup_mmdb_time && backup_mmdb_time >= mmdb_time
              copy_maxmind(GlobalSetting.maxmind_backup_path, DiscourseIpInfo.path)
              mmdb_time = backup_mmdb_time
            end

github.com/discourse/discourse

lib/tasks/maxminddb.rake

6344e3f93


      
          GEOLITE_DBS ||= %w[GeoLite2-City GeoLite2-ASN]
          
          desc "downloads MaxMind's GeoLite2-City databases"
          task "maxminddb:get" => "environment" do
            GEOLITE_DBS.each do |name|
              puts "Downloading MaxMindDb's #{name}..."
              DiscourseIpInfo.mmdb_download(name)
            end
          end
          
          def get_mmdb_time(root_path)
            mmdb_time = nil
          
            GEOLITE_DBS.each do |name|
              path = File.join(root_path, "#{name}.mmdb")
          
              if File.exist?(path)
                mmdb_time = File.mtime(path)
              else
                mmdb_time = nil
                break

Roi · 18. Juli 2024 um 14:35

Vielen Dank nochmals. Ich habe /var/discourse/shared/discourse_test/data/mmdb erstellt und hier ist, was ich mit app.yml gemacht habe:

  ## Der Maxmind Geolocation IP-Adressschlüssel für die IP-Adresssuche
  ## siehe https://meta.discourse.org/t/-/137387/23 für Details
  DISCOURSE_MAXMIND_ACCOUNT_ID: 123456
  DISCOURSE_MAXMIND_LICENSE_KEY: abcdefg
  DISCOURSE_MAXMIND_BACKUP_PATH: /data/mmdb

## Der Docker-Container ist zustandslos; alle Daten werden in /shared gespeichert
volumes:
  - volume:
      host: /var/discourse/shared/discourse_test
      guest: /shared
  - volume:
      host: /var/discourse/shared/discourse_test/log/var-log
      guest: /var/log
  - volume:
      host: /var/discourse/shared/discourse_test/data
      guest: /data

Ich habe DISCOURSE_MAXMIND_BACKUP_PATH hinzugefügt und ein drittes Volume hinzugefügt.

Ist das Verzeichnis für DISCOURSE_MAXMIND_BACKUP_PATH korrekt? Ist der Pfad der Pfad innerhalb des Containers?

Muss ich jetzt DISCOURSE_MAXMIND_ACCOUNT_ID und DISCOURSE_MAXMIND_LICENSE_KEY entfernen?

Entschuldigung, zu aufgeregt und auch etwas unklar.

Roi · 18. Juli 2024 um 15:55

Okayyyyyy

MaxMindDB-Backup erkannt (heruntergeladen: 2024-07-17 23:15:02 +0000) unter /data/mmdb
Kopiere MaxMindDB von /data/mmdb nach /var/www/discourse/vendor/data
Lade MaxMindDB nicht herunter, da es zuletzt am 2024-07-17 23:15:02 +0000 heruntergeladen wurde

Ich glaube, das ist es, was ich (oder besser gesagt „wir“) sehen wollten.

pfaffman · 18. Juli 2024 um 18:12

Ich denke, Sie hätten das zusätzliche Volume überspringen und Folgendes tun können:

DISCOURSE_MAXMIND_BACKUP_PATH: /shared/data

Aber wenn Sie einen anderen Prozess haben, der diese Datenbank woanders auf dem neuesten Stand hält, könnten Sie dieses Verzeichnis einbinden, sodass Sie nur eine lokale Kopie auf Ihrer Festplatte hätten und nur diese eine Kopie aktualisieren müssten.

Roi · 19. Juli 2024 um 16:54

Ich denke, ich lasse es so. In meinen Augen ist es eine klarere Konfiguration, die auch in ein paar Monaten noch verständlich ist. Außerdem ist sie möglicherweise generischer und für mehr Anwendungsfälle als nur meine geeignet.

Ich kopiere die drei mmdb-Dateien von Maxmind beim Herunterladen in dieses Verzeichnis. Ich habe nur das Skript angepasst, das ich verwende (übrigens verwende ich zum Herunterladen geoipupdate, das auch als Paket für Debian (und höchstwahrscheinlich andere Linux-Distributionen) verfügbar ist).

Habe gerade vier verschiedene Discourse-Container neu erstellt, alle ohne Fehler! Das ist hier seit Monaten nicht mehr passiert. Großartig!

kuaza · 26. Juli 2024 um 23:42

Dieses Problem besteht weiterhin. Ich werde den Vorfall im Detail erläutern:
Ich habe ein Update vom Administrator durchgeführt, es wurde auf halbem Weg gestoppt. Dann habe ich über das SSH-Panel eine Neukompilierung gestartet. Boom gab einen Fehler aus, ein Beispiel-Fehler ist unten aufgeführt.

Dann habe ich einen neuen Maxmind-Schlüssel erstellt und ihn neu kompiliert, er gab wieder einen Fehler aus, derselbe Fehler. (Interessant, vielleicht wurde der Schlüssel nicht aktiviert).

Dann habe ich die Maxmind-Einstellung in der Datei app.yml deaktiviert. Ich habe sie neu kompiliert und die Kompilierung war erfolgreich.

Die von mir verwendeten Add-ons sind im Bild dargestellt, andere Dinge, die ich verwendet habe:

Cloudflare R2
separater PostgreSQL-Server
Cloudflare

Ich kann nicht mehr herausfinden, was das Problem verursacht.

Thema		Antworten	Aufrufe
Rebuild failing due to MaxMind DB Bug maxmind	9	1600	21. Juni 2019
Setting DISCOURSE_MAXMIND_LICENSE_KEY breaks docker image/container build Installation maxmind	22	1272	16. Mai 2024
Upgrade / Rebuilds Fail due to MaxMind DB EOL Installation maxmind	15	8545	6. März 2020
Update from 3.0.0.beta16 to 3.1.0.beta2 Installation	22	1296	30. April 2023
Build failure, unable to download the MaxMind geolocation database Installation maxmind	9	1021	31. Oktober 2019

Das Wiederaufbauen schlägt immer fehl, wenn das MAXMIND-Tageslimit erreicht ist

Verwandte Themen