Si intentas limitar quién puede agregar al grupo, ¿no puedes simplemente crear un usuario que solo tenga acceso a ese grupo? ¿Por ejemplo, configurar el grupo para que los propietarios del grupo puedan administrar los miembros? Ni siquiera necesitas restricciones de clave API, ya que tienes restricciones de usuario, ¿verdad?