Acho que você pode desativá-lo usando o console do Rails:
Você pode seguir as etapas fornecidas em Using Hidden Site Settings e usar
SiteSetting.pop3_polling_enabled = "f"
Mas eu acho que é um bug que isso não funcione na interface
Teoricamente, o validador verifica se a configuração deve ser desativada e então não verifica mais a configuração. Obviamente, isso não está funcionando neste caso. Mas funciona para a solução alternativa do Rails 
Acho que o problema é que o frontend não passa "f" mas sim "false". É por isso que a verificação para passar na validação não funciona. Depois de mudar
return true if val == "f"
para
return true if val == "f" || val == "false"
Eu consegui desativar pop3_polling_enabled na interface