Não há como excluir usuários de ver algo. Você só pode configurar quem tem permissão para ver algo.
Portanto, você precisa alterar as configurações de todas as categorias para mostrar a maioria delas a um grupo do qual seu novo grupo de usuários não faz parte, e então você adiciona o outro grupo apenas à sua categoria.
Dependendo do motivo pelo qual você deseja isso, silenciar a maioria das categorias para o grupo de usuários pode funcionar. Isso simplifica a interface, mas, claro, não impede o acesso. Portanto, não é útil em casos em que você deseja que as informações não estejam disponíveis para eles.