Если вы пытаетесь ограничить, кто может добавлять участников в группу, разве нельзя просто создать пользователя, у которого есть доступ только к этой группе? Например, настроить группу так, чтобы владельцы группы могли управлять участниками? Вам даже не нужны ограничения по ключу API, так как у вас уже есть ограничения на уровне пользователей, верно?