¿Podría ser algo externo al propio Discourse?
Por ejemplo, quizás app.yml está montado como un bind mount en un directorio del host, o existe un bind mount implícito del contenedor al host, y ese directorio del host sigue siendo sincronizado/respaldeado al antiguo bucket S3 por algo como aws s3 sync, rclone, una tarea programada (cron job) o un script de respaldo.
Si app.yml ya no hace referencia a la configuración antigua de AWS/S3, probablemente debería verificar el host en busca de tareas programadas o scripts de sincronización a continuación.