Sí, esta es básicamente la razón por la que funciona así.
Si quieres restringir toda la función a los miembros de esos 17 grupos, es posible hacerlo mediante la configuración del sitio, pero la invitación de un solo uso es por usuario (es demasiado fácil que se convierta en una amplificación del spam) y la membresía de la sala en sí también es por usuario (mantenerla sincronizada con los grupos sería una mejora para el futuro).