Aufräumen von Uploads und Löschen von Uploads aus S3

Dokumentation Website-Verwaltung
,
1

:bookmark: Dies ist ein Referenzhandbuch, das beschreibt, wie verwaiste und gelöschte Uploads automatisch von einer Discourse-Site gelöscht werden. Dieses Handbuch gilt sowohl für selbst gehostete als auch für gehostete Discourse-Sites.

:person_raising_hand: Erforderliches Benutzerniveau: Administrator

Haben Sie sich jemals gefragt, was mit Dateien und Bildern passiert, die auf eine Discourse-Site hochgeladen wurden, aber nicht mehr referenziert werden, oder wie Sie Uploads von einer Site entfernen können? Sie sind hier genau richtig!

Möglicherweise müssen Sie Dateien und Bilder löschen, die in Discourse hochgeladen wurden und nicht mehr referenziert werden. Es gibt keine integrierte Möglichkeit, dies über die Benutzeroberfläche zu tun. Discourse verfügt jedoch über einen automatischen Sidekiq-Job, der so geplant ist, dass verwaiste und gelöschte Uploads entfernt werden, der sogenannte clean up uploads-Job.

Verwaiste und gelöschte Uploads

:information_source: Verwaiste Uploads sind Dateien, die auf eine Discourse-Site hochgeladen wurden, aber nicht mehr referenziert werden. Ein Upload gilt nur dann als verwaist, wenn er nicht referenziert wird:

  • In der neuesten Version eines Beitrags
  • In einem Entwurf
  • In einem Beitrag in der Warteschlange
  • In einer Logo-Site-Einstellung
  • In einem benutzerdefinierten Emoji
  • In einem Thema
  • In einem Benutzeravatar-/Hintergrund-/Kartenbild
  • In einem Kategorie-Logo-/Hintergrundbild

:information_source: Uploads gelten als „gelöscht“, wenn das Thema/der Beitrag, in dem sie enthalten sind, gelöscht wird.

Bereinigung von Uploads

Um einen Upload vollständig aus Discourse zu entfernen, müssen Sie eine der folgenden Aktionen ausführen:

  • Erzwingen Sie, dass der Upload verwaist wird, indem Sie alle Referenzen auf den Upload entfernen. Dies kann durch Bearbeiten des Upload-Links aus dem Beitrag, in dem er sich befindet, oder an anderen Stellen, an denen der Upload referenziert werden könnte, geschehen.
  • Löschen Sie alle Themen/Beiträge, die den Upload enthalten, wodurch der Upload als „gelöscht“ gilt. Beachten Sie, dass Sie das Bild aus dem Beitrag entfernen müssen, bevor Sie den Beitrag löschen, um ihn zu verwaisen.

Alle verwaisten, nicht referenzierten Uploads und gelöschten Uploads werden dann aus dem Speicher entfernt (nach einer Kulanzfrist), sobald der Job clean up uploads ausgeführt wird.

Website-Einstellungen

Die folgenden Website-Einstellungen sind unter example.discourse.com/admin/site_settings/category/files verfügbar, um zu ändern, wie Discourse automatisch Uploads löscht.

  • clean up uploads: Standardmäßig true
  • clean orphan uploads grace period hours: Standardmäßig 48
  • purge deleted uploads grace period days: Standardmäßig 30

Site settings for cleaning up uploads
Site settings for cleaning up uploads1218×440 24.8 KB

Die Einstellung clean up uploads kann verwendet werden, um die automatische Löschung von verwaisten, nicht referenzierten Uploads zu aktivieren oder zu deaktivieren. Die Einstellungen clean orphan uploads grace period hours und purge deleted uploads grace period days sind die beiden Einstellungen, die steuern, wie lange nach der Erkennung ein verwaister oder gelöschter Upload gelöscht und dauerhaft von der Website entfernt wird.

Zusätzliche Details zum Job clean up uploads finden Sie in der Datei clean_up_uploads.rb auf GitHub.

S3-Uploads löschen

:warning: Der folgende Abschnitt gilt nur für selbst gehostete Discourse-Sites.

:information_source: Wenn Sie derzeit auf unserem Enterprise Plan gehostet werden, wenden Sie sich bitte an team@discourse.org, wenn Sie Fragen zum Löschen von Uploads aus Ihrem S3-Speicher haben.

Die Bereinigung von verwaisten und gelöschten Uploads funktioniert für lokale und S3-Speicher ähnlich. Der einzige Unterschied zwischen lokalem Speicher und S3-Speicher besteht darin, dass die Bereinigung der S3-Uploads automatisch von S3 über eine Tombstone-Richtlinie gehandhabt wird. Weitere Details dazu, wie dies bei S3 gehandhabt wird, finden Sie unter Verwalten Ihres Speicherlebenszyklus.

Standardmäßig umfasst der Job clean up uploads S3-Uploads. Wenn Sie diese Funktion jedoch deaktivieren möchten, können Sie die Website-Einstellung s3 configure tombstone policy deaktivieren.

S3 configure tombstone policy setting
S3 configure tombstone policy setting1062×172 14.1 KB

4 „Gefällt mir“
2

Ist das korrekt? Ich glaube, Sie müssen das Bild aus dem Beitrag entfernen, bevor Sie den Beitrag löschen, um ihn zu verwaisten.

Sollte der letzte auch purge deleted uploads grace period days lauten?

1 „Gefällt mir“
3

Das Aktivieren von „Uploads bereinigen“ klingt mit der Warnmeldung beängstigend. Beim Konvertieren eines bestehenden Forums in Discourse wird diese Einstellung deaktiviert. Nicht alle Import-Skripte registrieren alle Uploads in Beiträgen ordnungsgemäß. Wenn Sie diese Einstellung aktivieren, verlieren Sie möglicherweise viele Anhänge.

Mit der folgenden Abfrage können Sie überprüfen, ob Uploads ordnungsgemäß von den Beiträgen referenziert werden:

select p.post_id, u.id as upload_id
from (select id post_id, (regexp_matches(cooked, 'data-download-href=[^\\s]+/default/([a-z0-9]+)', 'g'))[1] upload_sha from posts where raw like '%upload://%' order by created_at) as p 
join uploads u on u.sha1 = p.upload_sha
where not exists(select * from upload_references r where r.upload_id = u.id)

Diese sollte keine Zeilen zurückgeben, wenn alles korrekt ist. Wenn Sie diese Abfrage im Data Explorer Plugin verwenden, werden auch die Beiträge mit nicht referenzierten Anhängen ordnungsgemäß verlinkt.

Wenn die obige Abfrage Ergebnisse zurückgibt, können Sie die fehlenden Upload-Referenzen mit der folgenden Abfrage beheben:

insert into upload_references(upload_id, target_type, target_id, created_at, updated_at)
select u.id, 'Post', p.post_id, u.created_at, u.updated_at 
from (select id post_id, (regexp_matches(cooked, 'data-download-href=[^\\s]+/default/([a-z0-9]+)', 'g'))[1] upload_sha from posts where raw like '%upload://%' order by created_at) as p 
join uploads u on u.sha1 = p.upload_sha
on conflict do nothing;

Sie benötigen direkten Datenbankzugriff, um die korrigierende Änderung vorzunehmen.