Esta é uma observação fantástica e muito precisa. 
Uploads têm um user_id, mas esse é apenas o usuário original que criou o upload.
Converter esse código para:
Upload.where(id: params.upload_ids).joins(:user_uploads).where(user_uploads: { user_id: guardian.user.id })
resolverá o problema.
Você pode enviar um PR!