欠落している画像をどのように見つけるか？

Dmitry_Krasnoperov · 2019 年 5 月 21 日午後 8:14

I also have a lot of missing images:

root@xxxxx-app:/var/www/discourse# rake posts:missing_uploads

37 post uploads are missing.

34 uploads are missing.
5 of 34 are old scheme uploads.
33 of 1013268 posts are affected.

but after

root@xxxxx-app:/var/www/discourse# rake uploads:missing
.
.
.

/var/www/discourse/public/uploads/default/original/2X/3/3a9bf205dec2b6bd0b3cc35a3be1f69499960713.JPG
/var/www/discourse/public/uploads/default/original/3X/2/d/2db0ff326859b94824b64c4e0c2b156c562b7a99.jpg
/var/www/discourse/public/uploads/default/original/3X/e/f/ef271ac232c31e747206b47e4de7e0570de9e030.jpg
**10604** of 101083 uploads are missing

/var/www/discourse/public/uploads/default/optimized/2X/3/3d3efaa44fb43b99ec290b75e289080fc448f709_1_657x500.gif
/var/www/discourse/public/uploads/default/optimized/2X/4/4e3b01361d7c30c3df27a9606271175d91edff6d_1_200x200.jpeg
/var/www/discourse/public/uploads/default/optimized/2X/6/68fcd443312e7c500d25a6067c04c98aa1066686_1_200x200.JPG
/var/www/discourse/public/uploads/default/optimized/2X/1/16452ee2749e93e6b47d1388a20e34c1e3832ee1_1_100x100.jpg
/var/www/discourse/public/uploads/default/optimized/2X/0/0e843544885c0ee7a0c350d66bbe852dd4f0a497_1_135x135.jpeg
/var/www/discourse/public/uploads/default/optimized/2X/f/fb3d38e8d1b0e8ae25606156d37b8045f7cbc2b3_1_200x200.jpg
/var/www/discourse/public/uploads/default/optimized/2X/5/54a076f5be7cfabcf0fa34e57b836d85a33a879e_1_200x200.jpg
7 of 247116 optimized_images are missing

yanokwa · 2019 年 5 月 27 日午後 4:33

I’m having this problem as well on a forum running v2.3.0.beta9. I haven’t restored from backups. It’d be good to know why it’s happening and what we can do to restore the missing uploads. The good news is that the missing uploads seem to be in the tombstone, so hope isn’t lost..

So far, I’ve rebuilt the app and run rake uploads:missing, but that hasn’t helped.

root@forum-app:/var/www/discourse# rake posts:missing_uploads
Looking for missing uploads on: default

146 post uploads are missing.

142 uploads are missing.
81 of 58082 posts are affected.

root@forum-app:/var/www/discourse# rake uploads:missing

Looking for missing uploads on: default

146 post uploads are missing.

142 uploads are missing.
81 of 58082 posts are affected.

The missing uploads are from twoish weeks ago.

yanokwa · 2019 年 5 月 27 日午後 4:55

Problem solved! rake uploads:recover_from_tombstone did the trick. It’d still be good to understand why this happened…

kansaichris · 2019 年 6 月 10 日午前 7:59

@vinothkannans, @zogstrip Any updates on this?

kansaichris · 2019 年 6 月 20 日午前 3:38

Just checking in again. Does anyone know the answers to the following questions from a month ago?

What’s the difference between a missing upload and a missing post upload? (Last I checked, my site appeared to have 196 more of the latter.)
Why does Discourse report images that haven’t been migrated to the new upload scheme as “missing”?
If this is expected behavior, how can I migrate the 200+ images like this on my site to the new upload scheme?

codinghorror · 2019 年 6 月 20 日午前 5:05

@vinothkannans can advise

vinothkannans · 2019 年 6 月 20 日午前 8:53

missing upload - The upload record is found in DB but the file is missing in the file storage.
missing post upload - The upload record is not found in DB for an upload URL in the post.

I think those old scheme uploads are not found in the database and/or filesystem too.

You can do it by enabling the setting using the below command. It will migrate those upload if they’re found in DB and filesystem.

SiteSetting.migrate_to_new_scheme = true

watchmanmonitor · 2019 年 6 月 21 日午後 2:23

Forgive me.. where do we load these?

supermathie · 2019 年 6 月 21 日午後 3:53

You need to enter that into the rails console as it’s a hidden site setting.

watchmanmonitor · 2019 年 6 月 21 日午後 5:17

so:

root@site:~# cd /var/discourse/
root@site:/var/discourse# ./launcher enter app
root@site-app:/var/www/discourse# rails c
[1] pry(main)> SiteSetting.migrate_to_new_scheme = true

then exit, and rebuild?

EDIT:

any other steps.. do we need to undo this after?

supermathie · 2019 年 6 月 21 日午後 6:15

Looks good. No need to rebuild or undo.

kansaichris · 2019 年 6 月 26 日午前 4:24

Thanks, @vinothkannans.

How will I know that this command has been successful? Should I try running rake posts:missing_uploads again after enabling this hidden site setting in the Rails console? Or maybe PostCustomField.where(name: Post::MISSING_UPLOADS)?

kansaichris · 2019 年 7 月 2 日午前 2:25

これについて更新情報がありますか？

vinothkannans · 2019 年 7 月 2 日午前 2:30

バックグラウンドジョブとして実行され、マイグレーションが完了します。完了後、SiteSetting.migrate_to_new_scheme サイト設定の値が false に戻ります。その後、再度 rake posts:missing_uploads タスクを実行してください。

kansaichris · 2019 年 7 月 5 日午前 6:48

はい、あなたのアドバイスに従って実行したところ、出力は希望が持てるものに見えます。まず、Discourse コンテナに入りました：

$ cd /var/discourse
$ sudo ./launcher enter app

WARNING: We are about to start downloading the Discourse base image
This process may take anywhere between a few minutes to an hour, depending on your network speed

Please be patient

Unable to find image 'discourse/base:2.0.20190625-0946' locally
2.0.20190625-0946: Pulling from discourse/base
Digest: sha256:9899c60721649460283ac800836ac1ebecbc3ed8a97a496e514cf8c97f5b6d82
Status: Downloaded newer image for discourse/base:2.0.20190625-0946

次に、rake posts:missing_uploads を実行しました：

# rake posts:missing_uploads
Looking for missing uploads on: default
Fixing missing uploads: 
.........................................................................................................................................................................................................................................................
12 post uploads are missing.

12 uploads are missing.
1 of 12 are old scheme uploads.
3 of 8930 posts are affected.

（今回は欠落している投稿のアップロードが 12 件だけ！素晴らしい！）

最後に、SiteSetting.migrate_to_new_scheme を true に設定して Rails コンソールから退出しました：

# rails c
[1] pry(main)> SiteSetting.migrate_to_new_scheme
=> false
[2] pry(main)> SiteSetting.migrate_to_new_scheme = true
=> true
[3] pry(main)> exit

時間が経過した後、SiteSetting.migrate_to_new_scheme の値が実際に false に変更されたことを確認し、再度 rake posts:missing_uploads を実行しました：

[1] pry(main)> SiteSetting.migrate_to_new_scheme
=> false
[2] pry(main)> exit
# rake posts:missing_uploads
Looking for missing uploads on: default
Fixing missing uploads: 
.
12 post uploads are missing.

12 uploads are missing.
1 of 12 are old scheme uploads.
3 of 8939 posts are affected.

出力はほぼ同じでしたので、古いアップロード方式を使用しているすべての投稿が新しいアップロード方式に移行されたことを意味しているのだと思います。ただし、uploads ディレクトリにはまだ多くの番号付きサブフォルダが残っています：

$ cd /var/discourse/shared/standalone/uploads/default/
$ ls
1    112  125  138  151  164  177  190  203  216  229  242  255  268  281  294  46  59  72  85  98
100  113  126  139  152  165  178  191  204  217  230  243  256  269  282  34   47  60  73  86  99
101  114  127  140  153  166  179  192  205  218  231  244  257  270  283  35   48  61  74  87  optimized
102  115  128  141  154  167  180  193  206  219  232  245  258  271  284  36   49  62  75  88  _optimized
103  116  129  142  155  168  181  194  207  220  233  246  259  272  285  37   50  63  76  89  original
104  117  130  143  156  169  182  195  208  221  234  247  260  273  286  38   51  64  77  90
105  118  131  144  157  170  183  196  209  222  235  248  261  274  287  39   52  65  78  91
106  119  132  145  158  171  184  197  210  223  236  249  262  275  288  40   53  66  79  92
107  120  133  146  159  172  185  198  211  224  237  250  263  276  289  41   54  67  80  93
108  121  134  147  160  173  186  199  212  225  238  251  264  277  290  42   55  68  81  94
109  122  135  148  161  174  187  200  213  226  239  252  265  278  291  43   56  69  82  95
110  123  136  149  162  175  188  201  214  227  240  253  266  279  292  44   57  70  83  96
111  124  137  150  163  176  189  202  215  228  241  254  267  280  293  45   58  71  84  97

これらのサブフォルダ内の画像を参照している投稿（もしあれば）を特定する最も簡単な方法は何でしょうか？単純な Rails コンソールクエリで構いません。

ありがとうございます！

vinothkannans · 2019 年 7 月 6 日午後 3:57

空のディレクトリも多数含まれている可能性があります。それらはすべて無視することをお勧めします。

以下のクエリが役立ちます。

Post.where("cooked LIKE '%/uploads/default/%' AND cooked NOT LIKE '%/uploads/default/original/%' AND cooked NOT LIKE '%/uploads/default/optimized/%'")

watchmanmonitor · 2019 年 7 月 6 日午後 6:18

その出力は無限に長く、処理用にファイルへパイプする簡単な方法が見つかりません。（私が思いつく最善策は、スペースキーを押してページごとに進めることですが、まだ終わりに到達していません）

この出力をファイルに保存する方法、あるいはメッセージ本文や添付ファイルをスキップさせる方法はないでしょうか？

watchmanmonitor · 2019 年 7 月 7 日午前 7:18

はい、解決策を見つけました。3 つの「最も問題のある」カラムの出力をスキップする方法です。

"raw", "cooked", "raw_email"

posts = Post.where("cooked LIKE '%/uploads/default/%' AND cooked NOT LIKE '%/uploads/default/original/%' AND cooked NOT LIKE '%/uploads/default/optimized/%'"); 42
CSV.open("/tmp/posts-to-review.csv", "wb") do |csv|
  csv << Post.attribute_names - ["raw", "cooked", "raw_email"]
  posts.each do |post|
    csv << post.attributes.except("raw", "cooked", "raw_email").values
  end
end

q と入力して出力の表示をスキップし、
exit で Ruby を終了し、
画面をクリアしてから cat /tmp/posts-to-review.csv を実行します。

共有フォルダに直接出力することもできたかもしれませんが、これで動作します。

（より明確な手順を追加するために編集済み）

kansaichris · 2019 年 7 月 9 日午前 3:17

Hmm…試しに確認しました（find . -maxdepth 1 -type d -empty | wc -l を使用）。合計 262 個のディレクトリ（find . -maxdepth 1 -type d -iname '[0-9]*' | wc -l を使用）のうち、番号付きの空ディレクトリは 19 個のみで、約 7% です。したがって、完全に無視すべきではないと思います。

vinothkannans:

以下のクエリが役立ちます。

Post.where("cooked LIKE '%/uploads/default/%' AND cooked NOT LIKE '%/uploads/default/original/%' AND cooked NOT LIKE '%/uploads/default/optimized/%'")

素晴らしい、ありがとうございます！

これは “cooked” 属性を使用しているようですが、おそらく Markdown ソースでは古いアップロード方式が引き続き使用されているということでしょうか？例えば、ソースに以下の画像タグが含まれる投稿を見つけました。

<img src="/uploads/default/293/8d45810f8911c08c.jpg" width="666" height="500">

ただし、レンダリングされた画像にマウスをホバーすると、以下の URL にリンクされています。

/uploads/default/original/2X/0/0d1e04b9215f210faf1d8509e6bede9c3319e02b.jpeg

Markdown ソース内の画像 URL と、加工された HTML 内の画像 URL（ファイルハッシュを含む）が一致しないことを懸念すべきでしょうか？例えば、上記の画像へのリンクが壊れることを気にせず、/var/discourse/shared/standalone/uploads/default/293 ディレクトリを安全に削除できるでしょうか？あるいは別の言い方をすれば、Discourse は常に /uploads/default/293/8d45810f8911c08c.jpg が /uploads/default/original/2X/0/0d1e04b9215f210faf1d8509e6bede9c3319e02b.jpeg のエイリアスであることを認識し、このマッピングはサイトがバックアップから復元された際にも維持されるでしょうか？

vinothkannans · 2019 年 7 月 10 日午前 7:59

はい。生データと調理済みデータで URL が異なるべきではありません。投稿の「生データ」と「調理済みデータ」カラムの完全なテキスト内容をここに貼り付けていただけますか？

トピック		返信	表示
How can I migrate files from the old upload scheme (default/XXX) to the new one (default/original/{1,2}X)? Support	19	3283	2022 年 9 月 29 日
Fixing lost images Support	18	904	2022 年 12 月 17 日
Broken images move to tombstone Support	14	2178	2022 年 10 月 12 日
Old image uploads become broken images Support	64	8827	2024 年 6 月 8 日
Missing images at Meta.discourse.org Site feedback	54	2415	2025 年 3 月 18 日

欠落している画像をどのように見つけるか？

関連トピック