Да, это в основном причина, по которой всё устроено именно так.
Если вы хотите ограничить доступ ко всей функции только членами этих 17 групп, это можно сделать через настройку сайта, но одноразовое приглашение привязано к конкретному пользователю (слишком легко превратить это в инструмент для спама), а членство в комнате также привязано к пользователю (синхронизация с группами может стать улучшением в будущем).