É possível alterar as configurações de visibilidade padrão para grupos?

Correto. Se sua implementação de SSO enviar o parâmetro groups e você ativar a configuração para que a utilizemos, garantiremos que a associação seja configurada de acordo.