Digital Ocean Spaces (S3) „Anfrage kann nicht ohne gesetzte Anmeldeinformationen signiert werden“

[DavidO (David)]

Digital Ocean Spaces für S3-Speicher einrichten.

Das erhalte ich, wenn ich versuche, Backups auszuführen…

Dasselbe, wenn ich Fotos hochlade…

Ich habe diese Einrichtung…

…aber ich bin mir nicht sicher, wie ich testen kann, ob diese tatsächlich funktionieren. Ich kenne mich mit diesen Systemen nicht sehr gut aus. Dies ist nur für ein kleines Forum einer Freundesgruppe.

Ursprünglich hatte ich das unten live geschaltet, musste es aber in der app.yml wieder auskommentieren, da es mit diesen Zeilen nicht neu erstellt wurde. Ich bin mir nicht sicher, ob es zu diesem Zeitpunkt noch notwendig ist oder nicht…

@Discourse

after_assets_precompile:
    - exec:
        cd: $home
        cmd:
          - sudo -E -u discourse bundle exec rake s3:upload_assets
          - sudo -E -u discourse bundle exec rake s3:expire_missing_assets

Ich habe manuell eine Datei aus dem Digital Ocean Spaces Admin-Bereich hochgeladen, sie auf öffentlich gesetzt und kann sie über einen Browser aufrufen.

Ich habe auch manuell den Ordner „\\\\\*-backups“ in DO Spaces erstellt.

Hier ist ein Beispiel dafür, wie wenig ich weiß. Ich stecke hier fest und weiß nicht wirklich warum. Irgendwie habe ich mich aus etwas herausmanövriert und weiß nicht, wie ich zurückkomme.

Aus irgendeinem Grund scheint das, was sich normalerweise unter /var/discourse befindet, jetzt unter /var/www/discourse zu sein.

Ich stecke an diesem Punkt fest. Ich habe das Forum durchsucht und nichts gefunden, was es lösen könnte. Ich stecke seit einem Tag in derselben Schleife fest. Dies läuft auf dasselbe hinaus, aber es handelt sich um tatsächliches AWS S3 und nicht um DO Spaces (S3)…

AWS S3 upload - unable to sign request without credentials set

Tried now, to set up IAM User with credentials and give it s3:* permissions, and now the upload works, but discourse can´t display it afterwards: [The image failed to load, resulting in a black screen with the text "The image could not be loaded." displayed. (Captioned by AI)] As I´m working in a company, and there are SCP (Service control policies) active for our accounts, it seems that public access is generally blocked [The image shows a settings page where public access is blocked for a…

Jede Hilfe wäre willkommen. Vielen Dank.

[pfaffman (Jay Pfaffman)]

Sie verpassen die Einstellung use_s3, die in dem von Ihnen verlinkten Thema empfohlen wird.

Sie sollten diese Einstellungen aus dem von Ihnen verlinkten Thema kopieren und einfügen, anstatt zu versuchen, sie einzutippen. Sie benötigen einen Doppelpunkt, nicht ein Gleichheitszeichen.

Wenn Sie Dinge unter /var/www/discourse sehen, befinden Sie sich im Container. Sie müssen ihn verlassen, um zum Betriebssystem zurückzukehren.

[DavidO (David)]

Danke für das Feedback.

@pfaffman

Sie lassen die use_s3-Einstellung weg, die in dem von Ihnen verlinkten Thema empfohlen wird.

Die ist enthalten. Ich nehme an, sie wird nur mit dem anderen Befehl nicht angezeigt. Ich hatte das CDN auskommentiert, weil es hieß, es gäbe Probleme damit, daher habe ich versucht, das zu isolieren. Besonders, weil ich mir nicht zu 100 % sicher bin, ob die URL die richtige ist, da das Beispiel eine benutzerdefinierte Domain und nicht die Standard-Spaces-URL war. Vielleicht war es eine schlechte Idee, zu versuchen, das zu isolieren. Ich habe vieles ausprobiert.
Hier sind die vollständigen Einstellungen…

@pfaffman

Sie sollten diese Einstellungen aus dem von Ihnen verlinkten Thema kopieren und einfügen, anstatt zu versuchen, sie einzutippen. Sie benötigen einen Doppelpunkt, nicht ein Gleichheitszeichen.

Nicht zu 100 % sicher, aber ich bin mir ziemlich sicher, dass ich kopiert/eingefügt habe. Normalerweise mache ich das.

Ich hatte einen Fehler beim Versuch des Wiederaufbaus, also bin ich zurückgegangen und habe diese wieder auskommentiert…

Ich werde versuchen, diese wieder zu aktivieren und es auszuführen.

@pfaffman

Wenn Sie Dinge unter /var/www/discourse sehen, befinden Sie sich im Container. Sie müssen exit eingeben, um zum Betriebssystem zurückzukehren.

Ah, ‚exit‘.

Das ist es, was ich gesucht habe. Danke.

Was übersehe ich bei diesem S3-Teil?

[DavidO (David)]

Ich habe das Kommentieren entfernt, um es live zu schalten…

EDIT: Mir ist gerade aufgefallen, dass in dieser letzten Zeile ein Tippfehler ist. Ich weiß nicht, wie mir das passieren konnte.

@Discourse

  after_assets_precompile:
    - exec:
        cd: $home
        cmd:
          - sudo -E -u discourse bundle exec rake s3:upload_assets
          - sudo -E -u discourse bundle exec rake s3:expire_missing_assets

Ich habe gespeichert und versucht, neu zu erstellen, und erhalte dies…

Diese Sicherheitswarnung war neu. Ich habe versucht, das zu beheben…

chmod o-rwx containers/app.yml

Ich habe die Docker-Version überprüft…

docker --version

Ich schaue gerade, wie ich das aktualisieren kann. Ich dachte, das Neuerstellen würde das aktualisieren, aber vielleicht nicht.

[DavidO (David)]

@Discourse

 after_assets_precompile:
    - exec:
        cd: $home
        cmd:
          - sudo -E -u discourse bundle exec rake s3:upload_assets
          - sudo -E -u discourse bundle exec rake s3:expire_missing_assets

Das hat das Problem nicht gelöst. Selbst mit dem alten auskommentiert und dem neuen hineinkopiert…

Ich erhalte beim Neuaufbau immer noch einen Fehler…

„Erwarteter Schlüssel beim Parsen einer Blockzuordnung in Zeile 109, Spalte 3 nicht gefunden“

Ich bin mir nicht sicher, auf welchen Schlüssel er sich bezieht.

Die Einstellungen für Zugriffs- und geheimen Schlüssel befinden sich in den Einstellungen. Ich bin mir nicht sicher, wie ich testen kann, ob diese Einstellungen tatsächlich funktionieren, aber sie sind vorhanden.

Es scheint, als wäre ich nah dran, aber…

[DavidO (David)]

Nach dem Wiederaufbau blieb es einfach beim Nachdenken hängen…

Habe es ein paar Stunden so gelassen. Keine Änderung.

Habe das CDN auskommentiert und wieder den Fehler „Zeile 109“ erhalten. Habe auch den unteren Bereich auskommentiert und neu erstellt. Ich kann auf das Forum zugreifen, aber ich kann immer noch keine Anhänge hochladen.

Beim Wiederaufbau scheint es hier eine Weile zu hängen.

Bin mir nicht sicher, ob es eine Rolle spielt, da es irgendwann ohne jegliche Aktion daran vorbeikommt.

Mit auskommentiertem CDN und unterem Bereich kann ich das Forum zum Laufen bringen, aber ich habe immer noch das ursprüngliche Problem…

@DavidO

Dasselbe, wenn ich Fotos hochlade…

Ich bin mir nicht sicher, was ich übersehe.

[DavidO (David)]

Nach dem erneuten Aufbau blieb es einfach im Denken stecken. Zuerst dachte ich, es würde vielleicht alles übertragen oder im Hintergrund arbeiten, also ließ ich es…

ließ es so ein paar Stunden stehen. Keine Änderung.

Ich habe Spaces überprüft und es wurden keine Dateien hochgeladen, also hing es wohl an irgendetwas fest.

Ich habe das CDN auskommentiert und erhielt wieder den Fehler „Zeile 109“.

Ich habe auch den unteren Bereich auskommentiert und neu aufgebaut. Ich kann auf das Forum zugreifen, aber ich kann immer noch keine Anhänge hochladen.

Beim erneuten Aufbau scheint es hier eine Weile hängen zu bleiben, aber es kommt irgendwann ohne mein Zutun darüber hinweg, daher bin ich mir nicht sicher, ob das überhaupt eine Rolle spielt.

Wenn das CDN und der untere Bereich auskommentiert sind, kann ich das Forum zum Laufen bringen, aber ich habe immer noch das ursprüngliche Problem…

@DavidO

Dasselbe, wenn ich Fotos hochlade…

Ich weiß nicht, was ich übersehe. Ich habe aufgegeben und alle S3-Einstellungen vorerst auskommentiert.

SEITENANMERKUNG: Gibt es einen Befehl, um den Docker zu aktualisieren? Ich glaube, das mache ich normalerweise über den Admin-Bereich, aber es fordert mich nicht auf, von 24.0.2 zu aktualisieren. Ich bin mir nicht sicher, wie groß das Problem ist. Ich glaube, die aktuelle Version ist 24.0.7.

[DavidO (David)]

Ich bin mir nicht sicher, ob die Einstellungen im Admin-Bereich die Einstellungen in der app.yml überschreiben oder umgekehrt, aber hier sind diese Einstellungen nur für den Fall…

Mir ist nicht klar, ob die S3- und CDN-URLs den Bucket-Namen enthalten sollen oder nicht. Ich bin mir auch nicht sicher, ob es sich um identische Links handeln soll.

Ich hoffe, jemand bemerkt etwas Einfaches. Wenn Sie das gelesen haben, nochmals vielen Dank!

[pfaffman (Jay Pfaffman)]

Verwenden Sie das Social Ocean CDN?

@Discourse

Das einzige Problem ist, dass deren CDN-Angebot schrecklich fehlerhaft ist, sodass Sie ein anderes CDN für die Dateien verwenden müssen

@DavidO

Habe es ein paar Stunden so gelassen

Wenn es in 30 Sekunden nicht geladen wurde, wird es das wahrscheinlich nicht. Aber Sie müssen nicht so lange warten. Sie können sich den Netzwerk-Tab in den Entwicklertools des Browsers ansehen und sehen, was nicht geladen wird.

[DavidO (David)]

Ich bin mir nicht sicher, was Social Ocean CDN ist, aber ich versuche nur, das CDN zu verwenden, das in Spaces integriert ist.

[pfaffman (Jay Pfaffman)]

Entschuldigung, das war „Digital Ocean“.

@DavidO

aber ich versuche nur, das CDN zu verwenden, das in Spaces integriert ist.

Die Nachricht, die ich zitiert habe, besagt, dass Sie das nicht tun sollten, weil es nicht funktioniert.

Wenn Sie weitere Hilfe von mir wünschen, finden Sie meine E-Mail-Adresse in meinem Profil.

[DavidO (David)]

OK. Das ist so seltsam.

IRGENDETWAS funktioniert jetzt. Ich dachte, ich hätte alles auskommentiert (deaktiviert) und gestern ein Foto hochgeladen, um sicherzustellen, dass es wieder funktioniert. Ich habe heute Morgen den Pfad dazu überprüft und er verwendet das… CDN, nehme ich an?

https://XXXXXXX-storage.sfo3.digitaloceanspaces.com/optimized/2X/9/9b9fdb3eb27831650752b848363ea2a1a66ce137_2_375x500.jpeg

Ich habe in Spaces nachgesehen und es sind einige Bilder darin…

Es scheint, dass Bilder jetzt korrekt funktionieren. Das Einzige, woran ich denken kann, ist, dass ich „S3 use IAM profile“ in den Einstellungen deaktiviert habe. Ich vermute, das war der Schlüssel, nach dem es gesucht hat und das Suchen danach eingestellt hat. Ich weiß nicht, warum ich das überhaupt aktiviert hatte. Wahrscheinlich, weil ich wirklich keine Ahnung habe, was ich tue.

Ich habe immer noch Probleme beim Ausführen von Backups, aber vielleicht liegt das an einem Droplet-Space-Problem. Es sieht so aus, als hätte es nicht genug Platz, um es lokal zu speichern, bevor es hochgeladen wird. Ich werde mich damit separat befassen, jetzt, da es anscheinend zumindest mit dem Space verbunden ist.

Danke Jay, ich melde mich später in dieser Woche, wenn ich mich wieder mit diesem Freunde-Forum beschäftigen kann. Jetzt muss ich erst einmal Rechnungen bezahlen.

[DavidO (David)]

Ich hatte ein paar Minuten Zeit, während ich darauf wartete, dass meine bessere Hälfte fertig wurde, also dachte ich, ich schaue mal nach dem Speicherplatz. Nachdem ich mehr darüber nachgedacht hatte, kam ich zu dem Schluss, dass dies das Problem sein musste. Ich habe mit… nachgesehen

df -h

Oh ja, wirklich voll. Habe… ausgeführt

docker system prune -a

Habe… ausgeführt

./launcher cleanup

Nochmals vielen Dank, Jay.

Backup and limited storage

How big is a backup? You need room for two copies. You can try ./launcher cleanup To free some docker space. If you include more data on your backup it will take more storage, so if you’re shook storage, storing less seems like a no brainer

Tatsächlich wurden über 20 GB freigegeben.

Habe das Backup manuell ausgeführt und es hat funktioniert!!!

Jetzt versuche ich, alle Dateien vom lokalen Speicher auf S3 zu migrieren…

rake uploads:migrate_to_s3

Wünscht mir Glück!

[DavidO (David)]

Habe heute Morgen ein paar Dinge überprüft, während ich auf den Beginn einer Besprechung gewartet habe.

Rake schien nicht zu funktionieren, oder es ist vielleicht noch im Gange. Ich kann es noch nicht sagen. Die Speichernutzung ist gesunken, aber als ich einige alte Fotos manuell überprüft habe, schienen sie immer noch die alte lokale URL zu haben. Ich muss das genauer untersuchen.

Ich bin mir nicht sicher, was der Unterschied zwischen rake und reback ist. Ich nehme an, eines migriert die Dateien und das andere aktualisiert die Pfade in den Beiträgen. Es gibt noch mehr zu lernen.

Es wird immer noch viel Speicherplatz in /import (1,4 GB) und /uploads (9,2 GB) belegt. Das ist viel für unser kleines Paket. Ich versuche, das auf günstigere Speichermedien auszulagern, und das sind bei weitem die größten Brocken.

Einige Informationen für alle, die dasselbe einrichten: So sieht es für die Endpunkt-URLs aus…

CDN
https://XXXXXX-storage.sfo3.cdn.digitaloceanspaces.com/original/2X/0/15740f130209eb1a6a4f147076eaa20e70a9772d.zip

ORIGIN
https://XXXXXX-storage.sfo3.digitaloceanspaces.com/original/2X/0/15740f130209eb1a6a4f147076eaa20e70a9772d.zip

Der einzige Unterschied ist das .cdn in der URL. Ich muss meine Einstellungen aktualisieren.

[DavidO (David)]

@DavidO

Rake schien nicht zu funktionieren, oder es ist vielleicht noch in Arbeit. Ich kann es noch nicht sagen. Die Speichernutzung ging zurück, aber als ich einige alte Fotos manuell überprüft habe, schienen sie immer noch die alte lokale URL zu haben. Ich muss das genauer untersuchen.

Ich bin mir nicht sicher, was der Unterschied zwischen rake und reback ist. Ich nehme an, eines migriert die Dateien und das andere aktualisiert die Pfade in den Beiträgen. Es gibt noch mehr zu lernen.

Von Copilot…
_________\_

Um Beiträge nach dem Ändern des CDN-Links in Discourse neu zu backen (rebake), müssen Sie den rebake rake task ausführen, damit der gesamte gekochte Beitrags-HTML mit den neuen Asset-URLs aktualisiert wird.

Hier ist der Vorgang:

---

1. Den Container betreten

Shell

cd /var/discourse

./launcher enter app

Weitere Zeilen anzeigen

---

2. Die Rebake-Task ausführen

Shell

rake posts:rebake

Weitere Zeilen anzeigen

Dies wird:

• Alle Beiträge unter Verwendung der aktuellen Einstellungen (einschließlich Ihrer neuen s3_cdn_url) neu rendern.

• Den gekochten HTML aktualisieren, sodass Bilder und Uploads auf das CDN zeigen.

---

Optional: Beschleunigen

Wenn Sie eine große Website haben, können Sie dies in Batches ausführen:

Shell

rake posts:rebake[1000]

Weitere Zeilen anzeigen

Dies backt jeweils 1.000 Beiträge neu.

---

3. Überprüfen

Überprüfen Sie einige Beiträge mit Bildern oder Uploads, um zu bestätigen, dass sie jetzt die CDN-URL verwenden.

_________\_
Scheint zu laufen. Ich schaue später wieder vorbei.

Ich gehe jetzt Donuts machen.

[DavidO (David)]

@DavidO

Optional: Beschleunigen Sie es

Wenn Sie eine große Website haben, können Sie sie in Batches ausführen:

rake posts:rebake[1000]

Dies backt 1.000 Beiträge auf einmal neu.

Dies führt das erneute Backen aus, aber nicht nur 1.000 auf einmal. Es führt sie einfach alle aus und ignoriert den Teil \[1000\]. Vielleicht ist meine Syntax dort nicht ganz korrekt.

Eine weitere Erinnerung für mich selbst, genauso wie für alle anderen. Ich habe nach dieser URL im Menü gesucht, weil ich sie falsch herum hatte ( .cdn.sfo3. anstatt umgekehrt – was offensichtlich die SSL-Verschlüsselung unterbrochen hat). Ich konnte die Einstellung beim Suchen nicht finden. Dann fand ich ein Fenster, das ich bereits geöffnet hatte. Ich habe es aktualisiert und versucht zu speichern und erhielt dies…

Ich vergesse, dass die Einstellungen aus dem Admin-Einstellungsmenü verschwinden, sobald sie in der app.yml hinzugefügt wurden. Jetzt erinnere ich mich.

Das erneute Backen schien funktioniert zu haben, ich hatte nur die falsche URL. Das wird jetzt aktualisiert.

Ich habe aber immer noch weniger als 50 Dateien in meinem Speicherplatz, also funktioniert das Datei-Rake nicht.

[DavidO (David)]

OK. Ich dachte, das wäre hier ein kleiner Durchbruch. Ich habe endlich herausgefunden, woran dieses Problem lag …

„Erwarteter Schlüssel beim Parsen einer Blockzuordnung in Zeile 106 Spalte 3 nicht gefunden“

Als ich mir ein paar Threads ansah, sah ich das …

@RGJ

Entfernen Sie das Leerzeichen hier

Ich habe mir meine angesehen und was soll ich sagen, Leerzeichen.

Ich bin mir sicher, dass ich sie ohne nachzudenken eingefügt habe. Ich habe sie entfernt. Ich denke, es war hauptsächlich dasjenige vor dem „hooks:“, auf das es sich bezog.

Es wurde erfolgreich neu erstellt. Danke @RGJ

Allerdings gefällt ihm immer noch etwas nicht.

Ich sehe immer noch nicht, wie sich meine Elementanzahl in Spaces erhöht, daher scheint es noch nicht zu sein, dass die Dateien unter /uploads zu „S3“ hochgeladen werden. Das hat mich verwirrt, daher bin ich froh, dass das behoben ist. Aber ich bin wieder beim Ladebildschirm.

Außerdem erhalte ich mit dieser aktivierten Einstellung nur den Ladebildschirm.

Habe es wieder auskommentiert …

Erneut neu erstellt. Dasselbe.

Habe die Spaces S3-Einstellungen auskommentiert.

Erneut neu erstellt.

Funktioniert

• Forum wird geladen
• Bilder werden geladen
  • Neue mit Spaces – Nicht CDN
  • Alte mit lokalem Speicher

Funktioniert nicht

• Dateien werden nicht nach Spaces hochgeladen
• CDN-Link für das Laden von Bildern wird nicht verwendet
• Wenn DISCOURSE_S3 und after_assets_precompile nicht auskommentiert sind, bleibt das Forum im Browser beim Laden hängen

Keine Ideen mehr. Ich drehe mich im Kreis.

Ich muss das eine Weile ruhen lassen. Zumindest wird dadurch verhindert, dass Space zu einem Problem wird, da neue Uploads und Backups jetzt an Spaces gesendet werden.