Todavía deberías poder desactivarlo a través de la configuración normal del sitio después.
@davidb ¿puedes confirmarlo?
Estoy de acuerdo en que esta redacción en los próximos cambios es algo que también deberíamos encontrar una manera de hacer menos confuso.
Una cosa que podemos intentar hacer es dejarlo claro en el título y la descripción del cambio en sí, cuando sea configurable.