Esta es una observación fantástica y muy acertada. 
Las cargas tienen un user_id, pero ese es solo el usuario original que creó la carga.
Convertir ese código a:
Upload.where(id: params.upload_ids).joins(:user_uploads).where(user_uploads: { user_id: guardian.user.id })
hará el truco.
¿Puedes enviar una PR!