Sì, questa è fondamentalmente la ragione per cui funziona così.
Se vuoi limitare l’intera funzionalità ai membri di quei 17 gruppi, è fattibile tramite l’impostazione del sito, ma l’invito una tantum è per utente (troppo facile che diventi un amplificatore di spam) e l’appartenenza alla stanza stessa è per utente (mantenerla sincronizzata con i gruppi sarebbe un miglioramento per il futuro).