Gracias, esto lo solucionó para mí.
Aplicé el método alternativo directamente en app.yml mediante after_bundle_exec, fijé aws-sdk-s3 en 1.177.0 y aws-sdk-core en 3.215, y luego reconstruí el contenedor. Después de eso, las copias de seguridad manuales a Cloudflare R2 volvieron a tener éxito, y las cargas desde el navegador que antes fallaban también comenzaron a funcionar.
En mi caso, los errores aparecían como multipart upload failed: undefined method 'downcase' for nil en aws-sdk-s3 1.182.0.
Agradezco el método alternativo.