Какой у вас сценарий использования?
В зависимости от вашей конфигурации, загрузка файлов является общим ресурсом (ссылки на него содержатся в постах, профилях пользователей, значках и т. д.), поэтому удалять их без должной проверки довольно рискованно.
Кроме того, если файлы нигде не используются, они автоматически удаляются через некоторое время.