Se você está tentando limitar quem pode adicionar ao grupo, não pode simplesmente criar um usuário que tenha acesso apenas a esse grupo? Digamos que você configure o grupo para que os proprietários do grupo possam gerenciar membros? Você nem precisa de restrições de chave de API, pois tem restrições de usuário, certo?