Dateien- und Bild-Uploads zu S3 einrichten

Dokumentation Selbst-Hosting
,
267

Ist der erste Beitrag in den obigen
https://meta.discourse.org/t/set-up-file-and-image-uploads-to-s3
noch ein gültiger Leitfaden, der es Administratoren ermöglicht, dies zu tun? Wenn nein, gibt es eine andere Stelle, an der der korrekte Leitfaden für 2024 zu S3 zu finden ist? Es heißt, dies sei offiziell und werde vom Discourse-Team unterstützt.

Wir haben es wie oben beschrieben implementiert, und die Bilder sind in der Discourse-Instanz defekt, obwohl sie auf S3 hochgeladen werden.

Unser Ablauf

  1. Richten Sie den S3-Bucket selbst und die Richtlinie in S3 wie oben beschrieben ein (alle Schritte wurden genau befolgt).

  2. Richten Sie die Umgebung in app.yml und im Adminbereich (identisch) wie oben beschrieben ein.

  3. launcher rebuild app

  4. Es wird überhaupt kein CDN verwendet, da wir davon ausgehen, dass dies optional ist und auch ohne CDN funktionieren sollte.

Ergebnis:

  1. Bilder werden von Discourse in den Bucket hochgeladen.
  2. Links in Beiträgen werden von Discourse korrekt durch Amazon-Links ersetzt, wie z. B.
    xxx-bucket.s3.dualstack.us-east-1.amazonaws.com/original/1X/a1b21eb5de071799d4b5e5215619d11d28602dfe.jpeg
  3. Links sind nicht zugänglich (vermutlich aufgrund der S3-Richtlinie im offiziellen Leitfaden).

Angenommene Änderung für die offizielle S3-Richtlinie im Leitfaden. Principal: Diese Richtlinie gibt keinen Principal an, was bedeutet, dass sie für jeden gilt, der mit den richtigen Berechtigungen authentifiziert wurde. Wenn anonyme (öffentliche) Zugriffe erlaubt werden sollen, müssen wir \"Principal\": \"*\" angeben. Das ist möglicherweise auch keine gute Lösung, da es den Bucket öffentlich macht.
Dies ist eine Annahme, da wir uns freuen würden, wenn jemand den Leitfaden aktualisieren würde, um ihn 2024 korrekt zu machen.

268

Hey,

wir nutzen Cloudflare R2 für S3-Speicher (es funktioniert jetzt), und ich wollte Discourse auf einen anderen Server verschieben.

Allerdings fehlten beim Wiederherstellen aus einem Backup die Profilbilder, selbst wenn die Option „Uploads sichern“ aktiviert war.

Daher habe ich auf dem alten Server den S3-Migrationsbefehl ausgeführt, um noch lokal gespeicherte Bilder zu migrieren. Dabei ist jedoch ein Fehler aufgetreten, und es ist nicht klar, was die Ursache ist.

rake uploads:migrate_to_s3 --trace
** Invoke uploads:migrate_to_s3 (first_time)
** Invoke environment (first_time)
** Execute environment
** Execute uploads:migrate_to_s3
Bitte beachten Sie: Die Migration zu S3 ist derzeit nicht umkehrbar!
[CTRL+c] zum Abbrechen, [ENTER] zum Fortsetzen

Migriere Uploads zu S3 für 'default'...
Lade Dateien zu S3 hoch...
 - Lokale Dateien auflisten
..... => 5123 Dateien
 - S3-Dateien auflisten
....... => 6871 Dateien
 - Dateien zu S3 synchronisieren
.......................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................^[[B............................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................
Aktualisiere die URLs in der Datenbank...
Entferne alte optimierte Bilder...
Markiere alle Beiträge mit Lightboxen für Neubearbeitung...
828 Beiträge wurden zur Neubearbeitung markiert
rake aborted!
FileStore::ToS3MigrationError: 4898 von 5838 Uploads wurden nicht zu S3 migriert. Die S3-Migration für die Datenbank 'default' ist fehlgeschlagen. (FileStore::ToS3MigrationError)
/var/www/discourse/lib/file_store/to_s3_migration.rb:132:in `raise_or_log'
/var/www/discourse/lib/file_store/to_s3_migration.rb:73:in `migration_successful?'
/var/www/discourse/lib/file_store/to_s3_migration.rb:383:in `migrate_to_s3'
/var/www/discourse/lib/file_store/to_s3_migration.rb:59:in `migrate'
/var/www/discourse/lib/tasks/uploads.rake:126:in `migrate_to_s3'
/var/www/discourse/lib/tasks/uploads.rake:106:in `block in migrate_to_s3_all_sites'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rails_multisite-6.1.0/lib/rails_multisite/connection_management/null_instance.rb:49:in `with_connection'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rails_multisite-6.1.0/lib/rails_multisite/connection_management/null_instance.rb:36:in `each_connection'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rails_multisite-6.1.0/lib/rails_multisite/connection_management.rb:21:in `each_connection'
/var/www/discourse/lib/tasks/uploads.rake:104:in `migrate_to_s3_all_sites'
/var/www/discourse/lib/tasks/uploads.rake:100:in `block in <main>'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rake-13.2.1/lib/rake/task.rb:281:in `block in execute'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rake-13.2.1/lib/rake/task.rb:281:in `each'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rake-13.2.1/lib/rake/task.rb:281:in `execute'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rake-13.2.1/lib/rake/task.rb:219:in `block in invoke_with_call_chain'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rake-13.2.1/lib/rake/task.rb:199:in `synchronize'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rake-13.2.1/lib/rake/task.rb:199:in `invoke_with_call_chain'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rake-13.2.1/lib/rake/task.rb:188:in `invoke'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rake-13.2.1/lib/rake/application.rb:188:in `invoke_task'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rake-13.2.1/lib/rake/application.rb:138:in `block (2 levels) in top_level'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rake-13.2.1/lib/rake/application.rb:138:in `each'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rake-13.2.1/lib/rake/application.rb:138:in `block in top_level'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rake-13.2.1/lib/rake/application.rb:147:in `run_with_threads'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rake-13.2.1/lib/rake/application.rb:132:in `top_level'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rake-13.2.1/lib/rake/application.rb:83:in `block in run'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rake-13.2.1/lib/rake/application.rb:214:in `standard_exception_handling'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rake-13.2.1/lib/rake/application.rb:80:in `run'
bin/rake:13:in `<top (required)>'
/usr/local/lib/ruby/gems/3.3.0/gems/bundler-2.5.18/lib/bundler/cli/exec.rb:58:in `load'
/usr/local/lib/ruby/gems/3.3.0/gems/bundler-2.5.18/lib/bundler/cli/exec.rb:58:in `kernel_load'
/usr/local/lib/ruby/gems/3.3.0/gems/bundler-2.5.18/lib/bundler/cli/exec.rb:23:in `run'
/usr/local/lib/ruby/gems/3.3.0/gems/bundler-2.5.18/lib/bundler/cli.rb:455:in `exec'
/usr/local/lib/ruby/gems/3.3.0/gems/bundler-2.5.18/lib/bundler/vendor/thor/lib/thor/command.rb:28:in `run'
/usr/local/lib/ruby/gems/3.3.0/gems/bundler-2.5.18/lib/bundler/vendor/thor/lib/thor/invocation.rb:127:in `invoke_command'
/usr/local/lib/ruby/gems/3.3.0/gems/bundler-2.5.18/lib/bundler/vendor/thor/lib/thor.rb:527:in `dispatch'
/usr/local/lib/ruby/gems/3.3.0/gems/bundler-2.5.18/lib/bundler/cli.rb:35:in `dispatch'
/usr/local/lib/ruby/gems/3.3.0/gems/bundler-2.5.18/lib/bundler/vendor/thor/lib/thor/base.rb:584:in `start'
/usr/local/lib/ruby/gems/3.3.0/gems/bundler-2.5.18/lib/bundler/cli.rb:29:in `start'
/usr/local/lib/ruby/gems/3.3.0/gems/bundler-2.5.18/exe/bundle:28:in `block in <top (required)>'
/usr/local/lib/ruby/gems/3.3.0/gems/bundler-2.5.18/lib/bundler/friendly_errors.rb:117:in `with_friendly_errors'
/usr/local/lib/ruby/gems/3.3.0/gems/bundler-2.5.18/exe/bundle:20:in `<top (required)>'
/usr/local/bin/bundle:25:in `load'
/usr/local/bin/bundle:25:in `<main>'

Es scheint, dass diese Bilder aus irgendeinem Grund immer noch lokal gespeichert sind, obwohl ich dieses Migrationsskript bereits zuvor ausgeführt habe.

1 „Gefällt mir“
269

Ich vermute, Sie haben etwas in Ihrem S3-Setup geändert und die fehlenden Bilder befinden sich in einem anderen Bucket oder einem anderen Pfad als die neuen.

Sie können sich Folgendes ansehen:

Upload.pluck(:url)

um zu sehen, was falsch ist, vielleicht

1 „Gefällt mir“
270

Ich hatte kürzlich dasselbe Problem und konnte es lösen. Ich habe die IAM-Berechtigungen mit dieser Rolle aktualisiert

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
               "s3:List*",
               "s3:Get*",
               "s3:AbortMultipartUpload",
               "s3:DeleteObject",
               "s3:PutObject",
               "s3:PutObjectAcl",
               "s3:PutObjectVersionAcl",
               "s3:PutLifecycleConfiguration",
               "s3:CreateBucket",
               "s3:PutBucketCORS"
      ],
      "Resource": [
        "arn:aws:s3:::my-bucket",
        "arn:aws:s3:::my-bucket/*"
      ]
    },
    {
       "Effect": "Allow",
       "Action": [
           "s3:ListAllMyBuckets",
           "s3:ListBucket"
       ],
       "Resource": "*"
    }
  ]
}

Ich musste auch die Objektbesitzerschaft von ACLs aktivieren

image
image1300×1534 226 KB

Hier sind meine vollständigen Konfigurationen, wenn ich nach S3 suche

Dieses Bild zeigt einen Screenshot einer Website mit einem blauen Rand, die verschiedenen Text und eine Liste enthält. (Beschriftet von KI)
Dieses Bild zeigt einen Screenshot einer Website mit einem blauen Rand, die verschiedenen Text und eine Liste enthält. (Beschriftet von KI)2494×4020 884 KB

4 „Gefällt mir“
271

Richten Sie CORS auf dem Bucket zusammen mit den oben genannten Einstellungen für Multi-Part-Uploads ein.

[
    {
        "AllowedHeaders": [
            "content-type",
            "x-amz-acl",
            "x-amz-meta-sha1-checksum"
        ],
        "AllowedMethods": [
            "GET",
            "HEAD",
            "PUT"
        ],
        "AllowedOrigins": [
            "*"
        ],
        "ExposeHeaders": [],
        "MaxAgeSeconds": 3000
    }
]
272

Ist es möglich, S3-Dienstanbieter zu wechseln?

Ich möchte wissen, ob es Probleme geben wird, wenn ich versuche, den S3-Dienstanbieter zu wechseln, abgesehen vom Problem bereits hochgeladener Bilder. Damit habe ich eigentlich keine größeren Probleme, da die Seite noch nicht live ist; ich entwickle sie noch.

Ist es möglich, die Bilder lokal zu speichern und dann S3 mit dem neuen Dienstanbieter wieder zu aktivieren?

273

Sie können siteSettings.include_s3_uploads_in_backups=true in Rails setzen und dann ein Backup erstellen, die S3-Einstellungen ändern und das Backup wiederherstellen.

1 „Gefällt mir“
274

Alles klar, ich hab’s. Vielen Dank!

1 „Gefällt mir“
275

Der verlinkte Thread erwähnt einen PR, um eine migrate_from_s3-Aufgabe zu entfernen, und ich habe keinen Grund zu der Annahme, dass sie später wieder hinzugefügt wurde, aber ich wollte prüfen, ob dies immer noch der Fall ist. Ich erwäge eine Migration zu MinIO und bin etwas besorgt über die Abhängigkeit.

Ich frage mich, ob dies eine Lösung für das von mir erwähnte Problem bieten könnte. Die Einstellung einschließen, ein Backup erstellen, die S3-Einstellungen deaktivieren und das Backup wiederherstellen.

276

Ja. Ich würde es auf einem neuen Server wiederherstellen, damit Sie immer noch einen funktionierenden Server haben, falls etwas schiefgeht.

277

Von diesem Thread scheint es, dass diese Einstellung die einzelnen Dateien von S3 herunterlädt, aber ich frage mich, ob es Probleme mit Beiträgen geben könnte, die S3-URLs anstelle von lokalen Dateien referenzieren. Ich bin mir nicht sicher, wie das in der Datenbank gehandhabt wird. Ich wäre daran interessiert zu erfahren, ob Ihre Migration zu einem anderen Anbieter erfolgreich war, @Rhod.

1 „Gefällt mir“
278

Ich habe den Übergang reibungslos geschafft. Ich betone, dass ich keine größeren Probleme hatte, da die Anzahl der Bilder oder Backups minimal war. Das Forum war ausschließlich zu Testzwecken gedacht, noch nicht in der “Produktion”. Schließlich, nach mehreren Versuchen und Irrtümern, habe ich das Forum auf einem neuen Server (Hetzner) neu installiert und S3 (Cloudflare R2) für Backups und Bilder mit dem Server konfiguriert, der mich schließlich überzeugt hat.

Es tut mir leid, dass ich nicht viel helfen kann. Ich werde sehen, ob ich es in Zukunft auf einem anderen Server testen kann.

279

Funktionieren deine Chat-Thumbnails mit CF R2 einwandfrei?

1 „Gefällt mir“
280

Das ist mir nicht aufgefallen; ehrlich gesagt, habe ich den Chat auf meiner Website deaktiviert.

Ich glaube nicht, dass ich ihn verwenden werde, aber ich habe immer noch denselben Fehler, den Sie in Ihrem Beitrag erwähnt haben.

2025-07-08
2025-07-08388×253 5.75 KB

Das Bild zeigt einen Autorisierungsfehler in einem XML-Dokument mit Tags, die auf ein ungültiges Argument hinweisen. (Von KI untertitelt)
Das Bild zeigt einen Autorisierungsfehler in einem XML-Dokument mit Tags, die auf ein ungültiges Argument hinweisen. (Von KI untertitelt)824×231 4.34 KB

Ich werde Ihren Beitrag jedoch im Auge behalten, um zu sehen, ob Ihnen dort bei der Suche nach einer Lösung geholfen wird.

1 „Gefällt mir“
281

Danke Walter! Ich kam hierher, um dasselbe zu posten, nur um zu sehen, dass du es bereits getan hattest.

@Discourse Gibt es eine Möglichkeit, den Inhalt von Walters Beitrag in den Eröffnungspost zu integrieren?

282

Kann ich Videos auf S3 hochladen? Derzeit lade ich nur das Vorschaubild des Videos auf S3 hoch, aber das Video selbst kann nicht hochgeladen werden.