# Backblaze S3の問題：削除後の重複アップロード

**URL:** https://meta.discourse.org/t/backblaze-s3-issue-duplicated-uploads-after-delete/183313
**Category:** Self-hosting
**Tags:** s3
**Created:** [2021 年 3 月 15 日午後 3:13 UTC](https://meta.discourse.org/t/backblaze-s3-issue-duplicated-uploads-after-delete/183313 "2021-03-15T15:13:38Z")
**Posts on this page:** 15
**Page:** 1

<div class="post-metadata">

### Author: ![c00bt00p](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/c00bt00p/32/203857_2.png) [@c00bt00p](https://meta.discourse.org/u/c00bt00p)
#### Post date: [2021 年 3 月 15 日午後 3:13 UTC](https://meta.discourse.org/t/backblaze-s3-issue-duplicated-uploads-after-delete/183313/1 "2021-03-15T15:13:38Z")

</div>

Backblaze を S3 ストレージとして使用しており、「アップロードの孤児をクリーンアップ」設定を有効にしています。問題点は、孤児アップロードが削除されるのではなく、0 バイトの重複ファイルが作成されてしまうことです。

以下に例を示します。(2) は同じ名前のファイル数を示しています。展開すると、元のファイルも存在し、0 バイトのファイルも確認できます。同様の問題に遭遇した方はいますか？これは Backblaze の問題なのか、設定の問題なのでしょうか？ご教示ください。

 ![Screen Shot 2021-03-15 at 8.00.38 AM](https://global.discourse-cdn.com/meta/original/3X/e/f/ef9ea2e55c9386ff649d16ba3699914fee86959c.png)

---

<div class="post-metadata">

### Author: ![Falco](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/falco/32/179432_2.png) [@Falco](https://meta.discourse.org/u/Falco)
#### Post date: [2021 年 3 月 15 日午後 3:28 UTC](https://meta.discourse.org/t/backblaze-s3-issue-duplicated-uploads-after-delete/183313/2 "2021-03-15T15:28:21Z")

</div>

Discourse は S3 API を使用しており、AWS S3 と問題なく動作するため、これは Backblaze 側の問題として扱われています。サポートに連絡してみることをお勧めします。これについて、[アップロード用のオブジェクトストレージの利用 (S3 および互換サービス)](https://meta.discourse.org/t/using-object-storage-for-uploads-s3-clones/148916) に注記を追加します。

---

<div class="post-metadata">

### Author: ![schleifer](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/schleifer/32/86416_2.png) [@schleifer](https://meta.discourse.org/u/schleifer)
#### Post date: [2021 年 3 月 18 日午前 7:52 UTC](https://meta.discourse.org/t/backblaze-s3-issue-duplicated-uploads-after-delete/183313/3 "2021-03-18T07:52:32Z")

</div>

0バイトのファイル名が切り捨てられていることを示す省略記号があります。完全なファイル名は何でしょうか？私は、このバケットにファイルライフサイクルが設定されており、そのファイルは「隠しマーカー」である（[彼らがそう呼んでいるように](https://www.backblaze.com/b2/docs/file_versions.html)）と推測します。

ライフサイクルが期限切れになると、両方のバージョンが削除されるはずです。

---

<div class="post-metadata">

### Author: ![c00bt00p](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/c00bt00p/32/203857_2.png) [@c00bt00p](https://meta.discourse.org/u/c00bt00p)
#### Post date: [2021 年 3 月 19 日午後 11:34 UTC](https://meta.discourse.org/t/backblaze-s3-issue-duplicated-uploads-after-delete/183313/4 "2021-03-19T23:34:07Z")

</div>

切り捨てられた部分は「隠されています」。おっしゃる通りだと思います。重複しているファイルはすべて最近アップロードされたもののようです。少し時間をおいて、消えるかどうかを確認します。ありがとうございます。

---

<div class="post-metadata">

### Author: ![tenzan](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/tenzan/32/42979_2.png) [@tenzan](https://meta.discourse.org/u/tenzan)
#### Post date: [2021 年 9 月 15 日午前 2:16 UTC](https://meta.discourse.org/t/backblaze-s3-issue-duplicated-uploads-after-delete/183313/5 "2021-09-15T02:16:17Z")

</div>

こんにちは、  
問題が解決したか更新をお願いできますか？  
最後の投稿から1年以上経っていますので、これで大丈夫になっていることを願っています… 🙂

---

<div class="post-metadata">

### Author: ![rishabhlakhotia](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/rishabhlakhotia/32/192820_2.png) [@rishabhlakhotia](https://meta.discourse.org/u/rishabhlakhotia)
#### Post date: [2021 年 12 月 12 日午前 1:23 UTC](https://meta.discourse.org/t/backblaze-s3-issue-duplicated-uploads-after-delete/183313/6 "2021-12-12T01:23:59Z")

</div>

問題はまだ解決していません。BackBlaze の孤立したファイルをすべて手動で削除しました。ストレージの定期的なクリーンアップ自体がタスクであるため、この時点で S3 に移行すると思います。

---

<div class="post-metadata">

### Author: ![znedw](https://avatars.discourse-cdn.com/v4/letter/z/b5e925/32.png) [@znedw](https://meta.discourse.org/u/znedw)
#### Post date: [2022 年 6 月 17 日午後 11:22 UTC](https://meta.discourse.org/t/backblaze-s3-issue-duplicated-uploads-after-delete/183313/7 "2022-06-17T23:22:06Z")

</div>

私の経験のアップデートです…  
無料のB2アカウント（つまり最初の10GB）を持っており、支払い方法を追加していません。

バックアップファイルはローテーションされ、「隠し」ファイルは数日後に永久に削除されます。一度に7つ以上のファイルを持つことはありません（Discourseは最大5つのデイリーバックアップローテーション）。バックアップは常に約500MB以下なので、支払いが発生したり、「孤立した」ファイルを手動で削除したりする必要はありませんでした。

---

<div class="post-metadata">

### Author: ![rahim123](https://avatars.discourse-cdn.com/v4/letter/r/df705f/32.png) [@rahim123](https://meta.discourse.org/u/rahim123)
#### Post date: [2022 年 12 月 6 日午後 3:32 UTC](https://meta.discourse.org/t/backblaze-s3-issue-duplicated-uploads-after-delete/183313/8 "2022-12-06T15:32:45Z")

</div>

この件に関して何か変更はありましたか？どなたかBackblazeサポートに連絡してみましたか？

---

<div class="post-metadata">

### Author: ![Bathinda](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/bathinda/32/135888_2.png) [@Bathinda](https://meta.discourse.org/u/Bathinda)
#### Post date: [2023 年 6 月 3 日午前 7:46 UTC](https://meta.discourse.org/t/backblaze-s3-issue-duplicated-uploads-after-delete/183313/9 "2023-06-03T07:46:41Z")

</div>

しかし、問題は「アップロード」にあるようです!!  
「バックアップ」は、管理するファイルが多すぎたり少なすぎたりするわけではありません。手動でも管理できます。

---

<div class="post-metadata">

### Author: ![V1ktor](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/v1ktor/32/232406_2.png) [@V1ktor](https://meta.discourse.org/u/V1ktor)
#### Post date: [2023 年 6 月 15 日午後 1:32 UTC](https://meta.discourse.org/t/backblaze-s3-issue-duplicated-uploads-after-delete/183313/10 "2023-06-15T13:32:07Z")

</div>

この問題は継続しているようです。

@Falco Discourse が孤児をクリーンアップするためにどのような S3 操作を実行するか、詳しく説明していただけますか？

---

<div class="post-metadata">

### Author: ![Falco](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/falco/32/179432_2.png) [@Falco](https://meta.discourse.org/u/Falco)
#### Post date: [2023 年 6 月 15 日午後 2:02 UTC](https://meta.discourse.org/t/backblaze-s3-issue-duplicated-uploads-after-delete/183313/11 "2023-06-15T14:02:50Z")

</div>

> <https://github.com/discourse/discourse/blob/4b22e67c8bc1814133f58bc32f84e42372654abc/lib/s3_helper.rb#L89-L101>

---

<div class="post-metadata">

### Author: ![V1ktor](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/v1ktor/32/232406_2.png) [@V1ktor](https://meta.discourse.org/u/V1ktor)
#### Post date: [2023 年 6 月 16 日午後 8:13 UTC](https://meta.discourse.org/t/backblaze-s3-issue-duplicated-uploads-after-delete/183313/12 "2023-06-16T20:13:45Z")

</div>

ありがとうございます。`copy_to_tombstone` が関係していることがわかりました。tombstone と孤立ファイルに関するドキュメントが見つからなかったので、フォーラムで読んだ内容に基づいてどのように機能するか推測するしかありません。もし間違っていたら訂正してください。

1. 孤立ファイルが特定されると（クリーンな孤立アップロードの猶予期間時間）、tombstone フォルダにコピーされます（`copy_object`）。
2. その後、削除されます（または削除されるはずです）（`delete_object`）。
3. 削除されたアップロードのパージ猶予期間日になったら、tombstone フォルダから削除されます。

これで合っていますか？

Backblaze で見ている内容に基づくと、tombstone フォルダにコピーされているように見えます。削除されているのではなく、空の非表示バージョンが作成されているだけです。

 ![image](https://global.discourse-cdn.com/meta/original/4X/b/5/d/b5d8390756d913f1f8f156dabf9640036e0e13dd.png)

---

<div class="post-metadata">

### Author: ![V1ktor](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/v1ktor/32/232406_2.png) [@V1ktor](https://meta.discourse.org/u/V1ktor)
#### Post date: [2023 年 6 月 18 日午前 2:46 UTC](https://meta.discourse.org/t/backblaze-s3-issue-duplicated-uploads-after-delete/183313/13 "2023-06-18T02:46:08Z")

</div>

サポートに連絡したところ、孤児の問題に対する解決策があるようです。Backblazeサポートからの回答は以下のとおりです。

> ここでいくつかの問題が発生しています。アカウントを確認したところ、バケットのライフサイクルルールが「 **すべてのファイルを保持** 」に設定されています。ライフサイクルルールを「 **ファイルの最新バージョンのみを保持** 」に変更すると、非表示になったファイルは非表示になってから24時間後に削除され、ストレージ容量が解放されます。
> 
> ここで追加するもう1つのレイヤーは、S3互換サービスを使用している場合、オブジェクトの削除が呼び出されるたびに、オブジェクトは非表示になります。そしてここから、バケットのライフサイクルルールに応じて、削除されるか非表示のままになります。お客様の場合、「すべてのファイルを保持」により、ファイルは非表示のまま削除されていません。
> 
> オブジェクトの削除が呼び出されたときにオブジェクトが削除されるようにするには、ファイルバージョンIDを削除呼び出しに付随させる必要があります。ファイルが単に非表示になっている場合、統合はこの処理を行っていないと思われます。
> 
> これらのファイルをバケットから削除するには、Backblazeアカウントにサインインし、バケットに移動して、ライフサイクル設定を[**ファイルの最新バージョンのみを保持**](https://www.backblaze.net/b2/docs/lifecycle_rules.html#:~:text=Setting%20Lifecycle%20Rules%20on%20the%20Web)\*\*に更新する必要があります。これにより、非表示のファイルは24時間後にバケットから削除されます。

デフォルトでは、Backblazeは新規作成されたバケットに「すべてのファイルを保持」ライフサイクルルールを設定します。これが、誰もが孤児の問題を抱えている理由でしょう。「ファイルの最新バージョンのみを保持」にライフサイクルルールを変更すると、非表示になってから24時間後に孤児が削除されます。

これは、このスレッドで言及する価値があるかもしれません。

> [@Configure an S3 compatible object storage provider for uploads](https://meta.discourse.org/t/configure-an-s3-compatible-object-storage-provider-for-uploads/148916#backblaze-b2-cloud-storage-8):
>
> information_source This topic covers how to configure some common S3 compatible Object Storage providers (S3 clones). See [Set up file and image uploads to S3](https://meta.discourse.org/t/setting-up-file-and-image-uploads-to-s3/7229) for more details about Amazon AWS S3 configuration, which is officially supported and used internally by Discourse for our hosting services. Provider Service Name Works with Discourse? [Amazon AWS](#aws-s3-2) S3 Yes [Digital Ocean](#digital-ocean-spaces-3) Spaces Yes [Linode](#linode-object-storage-4) Object Storage Yes [Google Cloud](#google-cloud-platform-storage-5) Storage Yes [Scaleway](#scaleway-object-storage-6) Object Storage Yes [Vultr](#vultr-object-storage-7) Obj…

---

<div class="post-metadata">

### Author: ![Falco](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/falco/32/179432_2.png) [@Falco](https://meta.discourse.org/u/Falco)
#### Post date: [2023 年 6 月 19 日午後 2:15 UTC](https://meta.discourse.org/t/backblaze-s3-issue-duplicated-uploads-after-delete/183313/14 "2023-06-19T14:15:04Z")

</div>

> [@V1ktor](#):
>
> This might be worth mentioning in this thread:

Nice find! Can you please edit it to the wiki?

---

<div class="post-metadata">

### Author: ![V1ktor](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/v1ktor/32/232406_2.png) [@V1ktor](https://meta.discourse.org/u/V1ktor)
#### Post date: [2023 年 6 月 20 日午後 12:53 UTC](https://meta.discourse.org/t/backblaze-s3-issue-duplicated-uploads-after-delete/183313/15 "2023-06-20T12:53:40Z")

</div>

ウィキだとは知りませんでした。更新しました。
