Sim, você pode hospedar o Discourse em seus servidores… temos um guia oficial de instalação.
Provavelmente! Parece que o Keycloak suporta OAuth 2, o que funciona com o Discourse – Discourse OAuth2 Basic
Sim, você pode criar grupos e usá-los para controlar o acesso a categorias específicas (Understanding groups and category permissions). Os grupos também podem se comunicar entre seus membros por meio de mensagens privadas.