Qual é o seu caso de uso?
Dependendo da sua configuração, uploads sendo um recurso compartilhado (referenciado por posts, perfil de usuário, emblemas, etc…) é um tanto arriscado excluí-los sem a devida diligência.
Além disso, eles são limpos automaticamente após um curto período se não estiverem sendo referenciados em nenhum lugar.