Los cambios realizados en los temas no son visibles para los usuarios desconectados.
Pasos para reproducir:
Editar un tema:
Añadir código a Common > After Header:
Guardar los cambios.
Vista de usuario conectado:
Vista de usuario desconectado:
¿No será porque esta no es la plantilla predeterminada como se muestra en la primera captura de pantalla?
Los usuarios que no han iniciado sesión obtienen la plantilla predeterminada.
Parece que no había marcado ninguno de los dos temas para que estuvieran habilitados por defecto 
Gracias @Falco 