Me temo que esto no es un error y está funcionando como se esperaba. Crear un tema no listado elimina el tema de las listas de temas y de búsqueda, pero aún así enviará una notificación a cualquiera que esté Vigilando/Vigilando la primera publicación de la categoría (o etiqueta).
Creo que el consejo para crear un tema que no quieres que la gente vea con antelación es usar una categoría controlada por permisos (por ejemplo, personal) y recategorizarlo manualmente cuando esté listo, o programar la publicación desde el temporizador del tema. También puedes usar la función de Borradores Compartidos.
Sin embargo, este problema surge con bastante regularidad, por lo que puede valer la pena recopilarlo en un tema de Feature.