No estoy muy seguro, pero te recomiendo que pongas tu configuración de S3 en variables de entorno como se describe en Configurar un proveedor de almacenamiento de objetos compatible con S3 para subidas. Es probable que tengas problemas para restaurar una copia de seguridad con la configuración en la base de datos.
Además, si las tienes en app.yml y tienes la copia de seguridad en S3, entonces solo necesitas el archivo yml para configurar un nuevo servidor y restaurar la base de datos.
Si es posible, compartir un tema donde tengas este problema le dará a alguien que intente ver lo que está pasando mucha más información. Si tu sitio es público, entonces lo único que necesitas ocultar son tus claves, que ya están ocultas.