Я не совсем уверен, но рекомендую разместить настройки S3 в переменных окружения, как описано в статье Настройка совместимого с S3 провайдера объектного хранилища для загрузки файлов. Скорее всего, у вас возникнут проблемы с восстановлением резервной копии, если настройки хранятся в базе данных.
Кроме того, если у вас они уже указаны в app.yml и резервная копия находится в S3, то для настройки нового сервера и восстановления базы данных потребуется только файл yml.
Если возможно, поделитесь темой, где вы описали эту проблему — это даст тем, кто пытается разобраться, гораздо больше информации. Если ваш сайт публичный, то скрывать нужно только ключи, которые уже скрыты.