No se puede configurar el bucket de S3

Lo siento. Uno de ellos debería haber sido Set up file and image uploads to S3.

Consulta los temas enlazados que describen cómo configurar S3, pero sí, app.yml es lo que quieres cambiar (ya que no mencionaste web_only.yml).

Sí. Introducirlos en el archivo YML los oculta de la UX.