Você ainda deve conseguir desativá-lo por meio da configuração normal do site depois disso.
@davidb você pode confirmar?
Concordo que a formulação das próximas alterações seja algo que também devamos encontrar uma maneira de tornar menos confuso.
Uma coisa que podemos tentar fazer é deixar isso claro no título e na descrição da própria alteração, quando ela for configurável.