Qualquer coisa pode ser feita com um orçamento de desenvolvimento suficiente. Mas, nesse ponto, acho que seria muito mais fácil transformar essa “subcomunidade” em outra instância do Discourse.
Se você desabilitar o acesso aos perfis de usuário e as pessoas da comunidade restrita puderem postar apenas em categorias acessíveis apenas por elas, talvez não precise se preocupar com quem pode enviar mensagens privadas (PM) para quem, já que elas não saberão para quem mais enviar PMs.
Mas, se você realmente quiser que elas não consigam se ver, configurar um fórum separado provavelmente é mais fácil.
Obrigado a todos. Parece que provavelmente é melhor não deixar esse grupo específico de usuários entrar no fórum desde o início, o que é uma pena, mas é isso que a conformidade exige. Pelo menos vocês me economizaram muito tempo tentando descobrir o que é possível por conta própria!