Puedes colocar esas configuraciones en la sección env de app.yml y no serán visibles en la interfaz de usuario.
Consulta Usar almacenamiento de objetos para cargas (clones de S3) para ver ejemplos. Todas las configuraciones del sitio pueden sobrescribirse y ocultarse de esta manera.