Это отличный и точный замечание. 
Загрузки имеют user_id, но это просто оригинальный пользователь, который создал загрузку.
Преобразование этого кода в:
Upload.where(id: params.upload_ids).joins(:user_uploads).where(user_uploads: { user_id: guardian.user.id })
решит проблему.
Можешь отправить PR!