Sim, essa é basicamente a razão pela qual funciona assim.
Se você quiser restringir o recurso inteiro aos membros desses 17 grupos, isso é possível via configuração do site, mas o convite de uma única vez é por usuário (é muito fácil se tornar uma amplificação de spam) e a própria associação à sala é por usuário (manter isso sincronizado com os grupos seria uma melhoria para o futuro).