Ich probiere gerade ein paar Dinge auf Cloudflare aus und dachte darüber nach, R2 in Zukunft zu verlassen. Deshalb habe ich beim Überprüfen der Backups festgestellt, dass die Installationen nicht enthalten waren und ein Fehler aufgetreten ist. Bei der manuellen Erstellung eines Backups tritt derselbe Fehler in den Transaktionsprotokollen auf. Bilder und Dateien lokal werden gesichert, aber Bilder in Cloudflare R2 werden nicht gesichert.
Ein Beispiel für einen Fehlercode:
Failed to download original/1X/4b8754c367e54bc5271454a09b8bd4c1a8b882d5.png because Aws::S3::Errors::Http501Error
/var/www/discourse/lib/s3_helper.rb:280:in `rescue in download_file'
/var/www/discourse/lib/s3_helper.rb:277:in `download_file'
/var/www/discourse/lib/file_store/s3_store.rb:338:in `download_file'
/var/www/discourse/lib/backup_restore/backuper.rb:321:in `block in add_remote_uploads_to_archive'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activerecord-7.0.8.4/lib/active_record/relation/batches.rb:71:in `each'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activerecord-7.0.8.4/lib/active_record/relation/batches.rb:71:in `block in find_each'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activerecord-7.0.8.4/lib/active_record/relation/batches.rb:138:in `block in find_in_batches'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activerecord-7.0.8.4/lib/active_record/relation/batches.rb:245:in `block in in_batches'
/internal:kernel:187:in `loop'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activerecord-7.0.8.4/lib/active_record/relation/batches.rb:229:in `in_batches'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activerecord-7.0.8.4/lib/active_record/relation/batches.rb:137:in `find_in_batches'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activerecord-7.0.8.4/lib/active_record/relation/batches.rb:70:in `find_each'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activerecord-7.0.8.4/lib/active_record/querying.rb:22:in `find_each'
/var/www/discourse/lib/backup_restore/backuper.rb:315:in `add_remote_uploads_to_archive'
/var/www/discourse/lib/backup_restore/backuper.rb:248:in `create_archive'
/var/www/discourse/lib/backup_restore/backuper.rb:40:in `run'
/var/www/discourse/script/spawn_backup_restore.rb:9:in `backup'
/var/www/discourse/script/spawn_backup_restore.rb:31:in `block in <main>'
/var/www/discourse/script/spawn_backup_restore.rb:4:in `fork'
/var/www/discourse/script/spawn_backup_restore.rb:4:in `<main>'
Das ist zu erwarten und größtenteils der Sinn von S3/R2, dass man die Sachen nicht sichern muss. Aber es gibt eine versteckte Einstellung, die alle Bilder von S3 herunterlädt und in das Backup legt.
Oh, aber du hast DISCOURSE_INCLUDE_S3_UPLOADS_IN_BACKUPS: true.
Also funktioniert R2 vielleicht nicht wie ursprünglich vorgeschlagen. Ich dachte, ich hätte es getestet und es hat funktioniert, aber ich habe nicht versucht, Bilder in das Backup herunterzuladen, und ich habe wahrscheinlich keinen Wiederherstellungsvorgang oder das Herunterladen einer Backup-Datei versucht.
Das gehört wahrscheinlich in das andere Thema, da es die dort aufgestellte Hypothese “vielleicht funktioniert es” zu widerlegen scheint.
Diese Einstellung ist aktiv, aber leider werden die Bilder von R2 beim Sichern nicht importiert. Dies können Sie im Log sehen, wenn Sie eine manuelle Sicherung durchführen.
Ich bin unentschlossen und überlege, CDN zu verlassen und lokalen Speicher zu verwenden. Tatsächlich wird dies erwartet, falls sich die Meinungen ändern.
Vielen Dank, dass Sie sich die Zeit für eine Antwort genommen haben.
Ich werde das Problem erneut ansprechen, aber es füllt sich bei jedem automatischen Backup mit Fehlercodes. Wenn keine Sicherung erfolgt, wäre es meiner Meinung nach besser, die Dateien nicht auf S3 anzufordern, um Zeitverschwendung zu vermeiden. So füllen wir die Datei nicht mit unnötigen Fehlercodes.
Ich vermute, dass es Ihnen nicht erlaubt, sie herunterzuladen, weil es versucht, Sie davor zu schützen, dass jemand alle Ihre Bilder stiehlt. Klingt nach einer weiteren Möglichkeit, wie R2 nicht mit Discourse kompatibel ist.
Ich bin schon lange auf R2. Alles sieht gut aus, es gibt nur ein paar Probleme (wie oben), aber sie können behoben werden. Im Laufe der Zeit wird die Community an diesem Problem arbeiten, bis dahin viel Glück
Das ist interessant! Ich habe dich nur über Dinge klagen hören, die nicht funktionierten. Meine schnellen Tests sahen so aus, als ob es funktionieren würde, aber ich habe nicht ausgiebig getestet.
Eine Art von Ratenbegrenzung ist meine beste Vermutung für die Downloads zur Sicherung, obwohl ich denken würde, dass es Fehler geben würde?
Nach Ihren Tests haben wir R2 ausgeführt und meine Probleme mit R2 waren wie folgt:
Als ich S3 ausschaltete, wurden die Verbindungen zu seltsamen R2-Verbindungen (was ich sah, als ich in Docker nachsah). Und als ich versuchte, es zu beheben und neu zu backen, flogen die Bilder auf der Website und waren verzerrt. Nachdem ich es nach ein paar Versuchen korrigiert hatte, habe ich R2 nur für den Upload und die Nutzung eingestellt. Ich habe also noch keinen Weg gefunden, es loszuwerden (oder konnte es nicht).
Eine weitere war, dass beim Erstellen des Backups eine Fehlermeldung ausgegeben wurde. In Anbetracht der Tatsache, dass es 10.000 Bilder gibt, füllt dies die Fehlerprotokolle vergeblich. Dies kann manchmal dazu führen, dass wir wichtige Probleme übersehen. (Es ist vielleicht besser, wenn keine Fehlermeldung ausgegeben wird, aber es sollte beachtet werden, dass die Daten auf S3 nicht in das Backup aufgenommen werden)
Ich erinnere mich nicht, andere Probleme als diese gehabt zu haben. Wenn ich die Dateien auf R2 sichern möchte, kann ich mich über WinSCP verbinden und sie auf meinen Computer herunterladen. Wenn jemand anruft, lassen Sie uns hier eine Notiz hinterlassen
Mir ist gerade eingefallen, dass diejenigen, die S3 verwenden, diese Einstellung „Backup mit Uploads“ deaktivieren können. So können wir die Fehlermeldung loswerden. Warum bin ich da nicht früher drauf gekommen…
