Отличная идея! Позвольте предложить вариант?
Хорошим решением было бы предоставить владельцам групп возможность использовать чёрный список на случай, если потребуется удалить участника по какой-либо причине. При попытке повторно пригласить заблокированного пользователя должно появляться уведомление: «Пользователь x заблокирован; обратитесь к владельцам группы».