Creo que puedes desactivarlo usando la consola de Rails:
Puedes seguir los pasos proporcionados en Using Hidden Site Settings y usar
SiteSetting.pop3_polling_enabled = "f"
Pero creo que es un error que esto no funcione en la interfaz
Teóricamente, el validador comprueba si la configuración debe desactivarse y luego no comprueba más la configuración. Obviamente, esto no está funcionando en este caso. Pero funciona para la solución alternativa de Rails 
Creo que el problema es que el frontend no pasa "f" sino "false". Por eso la comprobación para pasar la validación no funciona. Después de cambiar
return true if val == "f"
a
return true if val == "f" || val == "false"
Pude desactivar pop3_polling_enabled en la interfaz