¡Hola Camille, bienvenido! Esta es una lista bastante larga de preguntas; nuestra barra de búsqueda de arriba sería muy útil para facilitarte las cosas a ti y a otros miembros, así que nadie se sienta abrumado al intentar ayudar 
Dicho esto, déjame ver cómo puedo ayudarte mejor.
Claro, consulta: Understanding groups and category permissions. Si deseas personalizaciones adicionales para listar temas que son solo para miembros registrados, consulta: Category Previews
Se les muestra un modal o mensaje para registrarse, pero no lo calificaría como un mensaje de denegación.
Sí, consulta: Sending bulk user invites
Sí, ve a Admin > Personalizar > Correo electrónico y selecciona el tipo de correo electrónico que deseas editar en el menú desplegable.
Sí, consulta la configuración del sitio default invitee trust level. Esto también se puede configurar si estás utilizando un proveedor de autenticación externa o SSO para registros e inicios de sesión.
Por lo que recuerdo, no creo que esto sea posible sin un plugin personalizado, y si decides seguir este camino, el spam será un gran problema y la moderación se volverá mucho más difícil para sitios grandes. Deberías/podrías seguir pudiendo moderar, pero no he visto esta solicitud antes, por lo que no puedo hablar al respecto ni sobre lo que sucedería después.
No estoy seguro de entender qué quieres decir con Temas, pero lo que describiste se puede lograr usando Etiquetas. Consulta: It’s Time We Talked About Tags y Set up structured tagging with tag groups and category tag restrictions
Esto se responde en el primer tema que enlacé.