Obrigado, isso resolveu o problema para mim.
Apliquei a solução alternativa diretamente no app.yml via after_bundle_exec, fixando o aws-sdk-s3 na versão 1.177.0 e o aws-sdk-core na 3.215, e então reconstruí o container. Depois disso, os backups manuais para o Cloudflare R2 voltaram a funcionar com sucesso, e os uploads pelo navegador que antes falharam também passaram a funcionar novamente.
No meu caso, as falhas apareciam como multipart upload failed: undefined method 'downcase' for nil no aws-sdk-s3 1.182.0.
Agradeço pela solução alternativa.