Seguindo um relatório que pôde ser reproduzido por @simon, descobriu-se que os grupos são visíveis mesmo quando não deveriam ser para usuários que são membros de um grupo específico.
Do meu ponto de vista, isso está acontecendo:
Digamos que eu esteja no Grupo 1 e no Grupo 2, e pertencer a esses grupos me dá acesso à Categoria 1. No entanto, quando clico no link para compartilhar o link da Categoria 1, o aviso diz que ele só pode ser visualizado por pessoas do Grupo 1, Grupo 2 e Grupo 3. No entanto, por não pertencer ao Grupo 3, o nome do grupo não deveria ser visível para mim de forma alguma.
Provavelmente existe uma maneira melhor de explicar isso, embora eu ache que é melhor deixar para alguém com mais conhecimento técnico sobre esse problema.