Configurar un proveedor de almacenamiento de objetos compatible con S3 para cargas

Discourse · 22 Abril, 2020 22:37

Este tema cubre cómo configurar algunos proveedores comunes de almacenamiento de objetos compatibles con S3 (clones de S3). Consulta Set up file and image uploads to S3 para más detalles sobre la configuración de Amazon AWS S3, que es oficialmente compatible y utilizada internamente por Discourse para nuestros servicios de alojamiento.

Proveedor	Nombre del servicio	¿Funciona con Discourse?
Amazon AWS	S3	Sí
Digital Ocean	Spaces	Sí
Linode	Almacenamiento de objetos	Sí
Google Cloud	Storage	Sí
Scaleway	Almacenamiento de objetos	Sí
Vultr	Almacenamiento de objetos	Sí
BackBlaze	Cloud Storage	Sí*
Autoalojado	MinIO	Sí
Azure Blob Storage	Flexify.IO	Sí
Oracle Cloud	Almacenamiento de objetos	No ^[1]
Wasabi	Almacenamiento de objetos	Quizás
Cloudflare	R2	Sí
Contabo	Almacenamiento de objetos	No

Si lograste que funcione un servicio diferente, por favor agrégalo a esta wiki.

Configuración

Para almacenar los activos estáticos de Discourse en tu almacenamiento de objetos, agrega esta configuración en tu archivo app.yml bajo la sección hooks:

  after_assets_precompile:
    - exec:
        cd: $home
        cmd:
          - sudo -E -u discourse bundle exec rake s3:upload_assets
          - sudo -E -u discourse bundle exec rake s3:expire_missing_assets

Al utilizar almacenamiento de objetos, también necesitas una CDN para servir lo que se almacena en el bucket. Utilicé StackPath CDN en mis pruebas y, aparte de necesitar configurar Dynamic Caching By Header: Accept-Encoding en su configuración, funciona bien.

DISCOURSE_CDN_URL es una CDN que apunta a tu nombre de host de Discourse y almacena en caché las solicitudes. Se utilizará principalmente para activos descargables: CSS y otros activos de temas.

DISCOURSE_S3_CDN_URL es una CDN que apunta a tu bucket de almacenamiento de objetos y almacena en caché las solicitudes. Se utilizará principalmente para activos cargables: JS, imágenes y cargas de usuarios.

Recomendamos que sean diferentes y que los administradores configuren ambos.

No utilizar una CDN (o ingresar la URL del bucket como la URL de la CDN) probablemente cause problemas y no es compatible.

En los siguientes ejemplos, https://falcoland-files-cdn.falco.dev es una CDN configurada para servir los archivos bajo el bucket. El nombre del bucket se estableció en falcoland-files en mis ejemplos.

Se recomienda configurar estos ajustes en variables de entorno en tu app.yml, ya que es así como lo hace CDCK en su infraestructura, por lo que está bien probado. Además, la tarea de cargar activos ocurre después de que los activos se compilan, lo cual sucede en una reconstrucción. Si deseas iniciar un Discourse que funcione correctamente con almacenamiento de objetos desde el principio, necesitas establecer las variables de entorno para que los activos se carguen antes de que el sitio se inicie.

Elige tu proveedor de la lista de abajo y agrega estos ajustes a la sección env de tu archivo app.yml, ajustando los valores según corresponda:

AWS S3

Lo que oficialmente soportamos y usamos internamente. Su oferta de CDN Cloudfront también funciona para servir los archivos del bucket. Consulta Set up file and image uploads to S3 para saber cómo configurar los permisos correctamente.

  DISCOURSE_USE_S3: true
  DISCOURSE_S3_REGION: us-west-1
  DISCOURSE_S3_ACCESS_KEY_ID: myaccesskey
  DISCOURSE_S3_SECRET_ACCESS_KEY: mysecretkey
  DISCOURSE_S3_CDN_URL: https://falcoland-files-cdn.falco.dev
  DISCOURSE_S3_BUCKET: falcoland-files
  DISCOURSE_S3_BACKUP_BUCKET: falcoland-files/backups
  DISCOURSE_BACKUP_LOCATION: s3

Digital Ocean Spaces

La oferta de DO es buena y funciona sin problemas. Es correcto habilitar «Restrict File Listing». El único problema es que su oferta de CDN está terriblemente rota, por lo que necesitas usar una CDN diferente para los archivos. Además, no debes instalar la regla CORS, ya que se reinstala en cada reconstrucción.

Configuración de ejemplo:

  DISCOURSE_USE_S3: true
  DISCOURSE_S3_REGION: whatever
  DISCOURSE_S3_ENDPOINT: https://nyc3.digitaloceanspaces.com
  DISCOURSE_S3_ACCESS_KEY_ID: myaccesskey
  DISCOURSE_S3_SECRET_ACCESS_KEY: mysecretkey
  DISCOURSE_S3_CDN_URL: https://falcoland-files-cdn.falco.dev
  DISCOURSE_S3_BUCKET: falcoland-files
  DISCOURSE_S3_BACKUP_BUCKET: falcoland-files/backups
  DISCOURSE_BACKUP_LOCATION: s3
  DISCOURSE_S3_INSTALL_CORS_RULE: false

Linode Object Storage

Se requiere un parámetro de configuración adicional, HTTP_CONTINUE_TIMEOUT, para Linode.

Configuración de ejemplo:

  DISCOURSE_USE_S3: true
  DISCOURSE_S3_REGION: us-east-1
  DISCOURSE_S3_HTTP_CONTINUE_TIMEOUT: 0
  DISCOURSE_S3_ENDPOINT: https://us-east-1.linodeobjects.com
  DISCOURSE_S3_ACCESS_KEY_ID: myaccesskey
  DISCOURSE_S3_SECRET_ACCESS_KEY: mysecretkey
  DISCOURSE_S3_CDN_URL: https://falcoland-files-cdn.falco.dev
  DISCOURSE_S3_BUCKET: falcoland-files
  DISCOURSE_S3_BACKUP_BUCKET: falcoland-files/backup
  DISCOURSE_BACKUP_LOCATION: s3

Google Cloud Platform Storage

Listar archivos está roto, por lo que necesitas una variable de entorno adicional para omitirlo para que los activos funcionen. También omite CORS y configúralo manualmente.

Dado que no puedes listar archivos, no podrás listar copias de seguridad y las copias de seguridad automáticas fallarán; no recomendamos usarlo para copias de seguridad. Sin embargo, algunos sugieren que si cambias el rol de «Storage Legacy Object Owner» a «Storage Legacy Bucket Owner», las copias de seguridad funcionan correctamente. Consulta este tema para una discusión específica de Google Cloud.

Existe un plugin de terceros para mejorar la integración en Discourse GCS Helper.

Configuración de ejemplo:

  DISCOURSE_USE_S3: true
  DISCOURSE_S3_REGION: us-east1
  DISCOURSE_S3_INSTALL_CORS_RULE: false
  FORCE_S3_UPLOADS: 1
  DISCOURSE_S3_ENDPOINT: https://storage.googleapis.com
  DISCOURSE_S3_ACCESS_KEY_ID: myaccesskey
  DISCOURSE_S3_SECRET_ACCESS_KEY: mysecretkey
  DISCOURSE_S3_CDN_URL: https://falcoland-files-cdn.falco.dev
  DISCOURSE_S3_BUCKET: falcoland-files
  #DISCOURSE_S3_BACKUP_BUCKET: falcoland-files/backup
  #DISCOURSE_BACKUP_LOCATION: s3

Scaleway Object Storage

La oferta de Scaleway también es muy buena y, en su mayor parte, todo funciona bien.

Las cargas multipart de Scaleway solo admiten un máximo de 1.000 partes. Esto no coincide con Amazon S3, que admite un máximo de 10.000 partes. Para instancias más grandes, esto hará que las copias de seguridad de Discourse fallen y la carga incompleta puede necesitar ser eliminada manualmente antes de realizar nuevos intentos. Para instancias pequeñas, esto no es un problema. Scaleway parece bastante abierto a la retroalimentación, por lo que si deseas que se cambie este límite, debes contactarlos.

Ten en cuenta que para el parámetro DISCOURSE_S3_ENDPOINT, Discourse utiliza el punto de conexión de toda la región: https://s3.{region}.scw.cloud. El «Bucket endpoint» que aparece en tu panel de Scaleway tiene el formato https://{bucketName}.s3.{region}.scw.cloud. Omite el subdominio del nombre del bucket para evitar errores de conexión.

Configuración de ejemplo:

  DISCOURSE_USE_S3: true
  DISCOURSE_S3_REGION: fr-par
  DISCOURSE_S3_ENDPOINT: https://s3.fr-par.scw.cloud
  DISCOURSE_S3_ACCESS_KEY_ID: myaccesskey
  DISCOURSE_S3_SECRET_ACCESS_KEY: mysecretkey
  DISCOURSE_S3_CDN_URL: https://falcoland-files-cdn.falco.dev
  DISCOURSE_S3_BUCKET: falcoland-files
  DISCOURSE_S3_BACKUP_BUCKET: falcoland-files/backups
  DISCOURSE_BACKUP_LOCATION: s3

Vultr Object Storage

Se requiere un parámetro de configuración adicional, HTTP_CONTINUE_TIMEOUT, para Vultr.

Configuración de ejemplo:

  DISCOURSE_USE_S3: true
  DISCOURSE_S3_REGION: whatever
  DISCOURSE_S3_HTTP_CONTINUE_TIMEOUT: 0
  DISCOURSE_S3_ENDPOINT: https://ewr1.vultrobjects.com
  DISCOURSE_S3_ACCESS_KEY_ID: myaccesskey
  DISCOURSE_S3_SECRET_ACCESS_KEY: mysecretkey
  DISCOURSE_S3_CDN_URL: https://falcoland-files-cdn.falco.dev
  DISCOURSE_S3_BUCKET: falcoland-files
  DISCOURSE_S3_BACKUP_BUCKET: falcoland-files/backup
  DISCOURSE_BACKUP_LOCATION: s3

Backblaze B2 Cloud Storage

Necesitas omitir CORS y configurarlo manualmente.

Hay informes de que «clean up orphan uploads» no funciona correctamente con BackBlaze. Debes cambiar las reglas de ciclo de vida de tu bucket para que la limpieza de huérfanos funcione.

Configuración de ejemplo:

  DISCOURSE_USE_S3: true
  DISCOURSE_S3_REGION: "us-west-002"
  DISCOURSE_S3_INSTALL_CORS_RULE: false
  DISCOURSE_S3_CONFIGURE_TOMBSTONE_POLICY: false
  DISCOURSE_S3_ENDPOINT: https://s3.us-west-002.backblazeb2.com
  DISCOURSE_S3_ACCESS_KEY_ID: myaccesskey
  DISCOURSE_S3_SECRET_ACCESS_KEY: mysecretkey
  DISCOURSE_S3_CDN_URL: https://falcoland-files-cdn.falco.dev
  DISCOURSE_S3_BUCKET: falcoland-files
  DISCOURSE_S3_BACKUP_BUCKET: falcoland-files/backup
  DISCOURSE_BACKUP_LOCATION: s3

Nota: Durante la migración inicial a B2, puedes alcanzar el límite gratuito diario de 2500 transacciones de clase C. Necesitarás agregar un método de pago para eliminar los límites.

MinIO Storage Server

Hay algunas advertencias y requisitos que debes asegurarte de cumplir antes de poder usar el servidor de almacenamiento MinIO como alternativa a S3:

Tienes una instancia de servidor MinIO completamente configurada.
Tienes la compatibilidad con dominios habilitada en la configuración de MinIO, para URLs de bucket impulsadas por dominio. Este es un requisito de configuración obligatorio para MinIO y Discourse, ya que MinIO aún admite los estilos «path» heredados de S3 que ya no son compatibles con Discourse.
Tienes la configuración de DNS correctamente establecida para MinIO para que los subdominios de los buckets se resuelvan correctamente al servidor MinIO y el servidor MinIO esté configurado con un dominio base (en este caso, minio.example.com).
El bucket discourse-data existe en el servidor MinIO y tiene una política «pública» establecida en él.
Tu URL de CDN de S3 apunta a una CDN correctamente configurada que apunta al bucket y almacena en caché las solicitudes, como se indicó anteriormente en este documento.
Tus CDNs están configuradas para usar realmente un encabezado «Host» de la URL principal de S3; por ejemplo, discourse-data.minio.example.com cuando obtiene datos; de lo contrario, puede causar problemas de CORB.

Asumiendo que se cumplen las advertencias y los prerrequisitos anteriores, una configuración de ejemplo sería algo así:

  DISCOURSE_USE_S3: true
  DISCOURSE_S3_REGION: anything
  DISCOURSE_S3_ENDPOINT: https://minio.example.com
  DISCOURSE_S3_ACCESS_KEY_ID: myaccesskey
  DISCOURSE_S3_SECRET_ACCESS_KEY: mysecretkey
  DISCOURSE_S3_CDN_URL: https://discourse-data-cdn.example.com
  DISCOURSE_S3_BUCKET: discourse-data
  DISCOURSE_S3_BACKUP_BUCKET: discourse-backups
  DISCOURSE_BACKUP_LOCATION: s3
  DISCOURSE_S3_INSTALL_CORS_RULE: false

CORS seguirá estando habilitado en MinIO incluso si la regla no es instalada por el reconstructor de la aplicación; por defecto, parece, CORS está habilitado en todos los verbos HTTP en MinIO, y MinIO no admite BucketCORS (API S3) como resultado.

Azure Blob Storage con Flexify.IO

Azure Blob Storage no es un servicio compatible con S3, por lo que no se puede usar con Discourse. Hay un plugin, pero está roto.

La forma más fácil de exponer una interfaz compatible con S3 para Azure Blob Storage es agregar un servidor Flexify.IO que traduce el protocolo de almacenamiento de Azure a S3.

Al momento de escribir esto, el servicio es gratuito en Azure y solo necesitas una tier de VM muy básica (barata) para comenzar a ejecutarlo. Sin embargo, requiere un poco de configuración.

En el portal de Azure, crea un nuevo recurso de Flexify.IO - Amazon S3 API for Azure Blob Storage.
Para un uso ligero, la configuración mínima de VM parece funcionar bien. Puedes aceptar la mayoría de la configuración predeterminada. Recuerda guardar el archivo de clave PEM cuando crees la VM.
Navega al enlace de la VM de Flexify.IO y entra al sistema. Sigue las instrucciones configurando el proveedor de datos de Azure Blob Storage y el punto de conexión S3 generado. Asegúrate de que la configuración del punto de conexión Public read access to all objects in virtual buckets sea verdadera. Copia la URL y las claves del punto de conexión S3.
Presiona New Virtual Bucket y crea un bucket virtual. Puede tener el mismo nombre que tu contenedor de Azure Blob Storage o puede tener un nombre diferente. Enlaza cualquier contenedor para fusionarlo en este bucket virtual. Este bucket virtual se utiliza para exponer un bucket de lectura pública a través de S3.
Por defecto, Flexify.IO instala un certificado SSL autofirmado, mientras que un punto de conexión S3 requiere HTTPS. Conéctate por SSH a la VM usando el archivo de clave (el nombre de usuario es azureuser por defecto) y reemplaza los siguientes archivos con los archivos correctos:

/etc/flexify/ssl/cert.pem - reemplaza con el archivo de certificado (codificación PEM)
/etc/flexify/ssl/key.pem - reemplaza con el archivo de clave privada (codificación PKCS#8 PEM, es el que comienza con BEGIN PRIVATE KEY y no BEGIN RSA PRIVATE KEY, que es PKCS#1)

Estos archivos son de root, por lo que tendrás que usar sudo para reemplazarlos. Lo mejor es asegurarse de que los archivos de reemplazo tengan la misma propiedad y permisos que los originales, lo que significa root:root y permiso 600.

Por defecto, Flexify.IO crea un servicio S3 a nivel de raíz con múltiples buckets. Discourse requiere compatibilidad con subdominios para buckets. Ve a: <tu IP de la VM de Flexify.IO>/flexify-io/manage/admin/engines/configs/1, lo que abrirá una página de configuración oculta.
Especifica el dominio base de S3 (digamos que es s3.mydomain.com) en el campo Endpoint hostname, que debería estar en blanco por defecto. Presiona Save para guardar la configuración.
Reinicia la VM de Flexify.IO en el portal de Azure.
En tu DNS, mapea s3.mydomain.com y *.s3.mydomain.com a la IP de la VM de Flexify.IO.
En Discourse, configura lo siguiente en la página de administración (sí, no es necesario que las configuraciones estén en app.yml):

use s3: true
s3 region: anything
s3 endpoint: https://s3.mydomain.com
s3 access key: myaccesskey
s3 secret assess key: mysecret key
s3 cdn url: https://<azure-blob-account>.blob.core.windows.net/<container>
s3 bucket: <virtual bucket>
s3 backup bucket: <backup bucket>  (cualquier contenedor servirá, ya que no requiere acceso de lectura pública y Flexify.IO los expondrá automáticamente)
backup location: s3

No se recomienda usar el mismo bucket para producción y staging. Si lo haces de todos modos, toma medidas para asegurarte de que tu sitio de staging no elimine los activos de producción (configura s3 disable cleanup como mínimo y vigila que no elimine las copias de seguridad de producción).

Wasabi

@pfaffman probó Wasabi para copias de seguridad, pero parecía fallar intermitente y silenciosamente, dejando copias de seguridad en el disco duro y eventualmente llenando el disco. Ni Wasabi ni meta tenían pistas, por lo que no lo recomiendo, aunque tu experiencia puede variar. @pfaffman ahora está bastante seguro de que este problema se debía a que las copias de seguridad y los reinicios automáticos se programaban de alguna manera al mismo tiempo; solo se usaba para copias de seguridad, pero parecía funcionar bien. Si alguien quiere probarlo y reportarlo aquí, debería funcionar, al menos para copias de seguridad.

Oracle Cloud

Oracle Cloud carece de soporte para el acceso a buckets en estilo de host virtual y no funcionará

Cloudflare R2

Para configurar Cloudflare R2, deberás configurar los ajustes relevantes en el panel de control de Cloudflare bajo R2 Object Storage.

Dependiendo de tus necesidades (cargas, copias de seguridad o ambas), estos son los ajustes relevantes para insertar en tu archivo app.yml o en tu búsqueda de «Admin - Todos los ajustes del sitio» buscando S3:

  DISCOURSE_ENABLE_S3_UPLOADS: true
  DISCOURSE_S3_REGION: auto
  DISCOURSE_S3_ENDPOINT: https://<tu-account-id>.r2.cloudflarestorage.com
  DISCOURSE_S3_ACCESS_KEY_ID: "xxx"
  DISCOURSE_S3_SECRET_ACCESS_KEY: "xxx"
  DISCOURSE_S3_UPLOAD_BUCKET: your-upload-bucket-name
  DISCOURSE_S3_CDN_URL: https://uploads.yourdomain.com
# DISCOURSE_S3_USE_CDN_URL_FOR_ALL_UPLOADS: true

  DISCOURSE_ENABLE_DIRECT_S3_UPLOADS: true
  DISCOURSE_S3_USE_ACLS: false
  
  DISCOURSE_BACKUP_LOCATION: s3
  DISCOURSE_S3_BACKUP_BUCKET: your-backup-bucket-name

Si no deseas editar tu app.yml, puedes hacer esto en la interfaz de administración:

„Admin → Todos los ajustes del sitio

Oracle Cloud carece de soporte para el acceso a buckets en estilo de host virtual y no funcionará ↩︎

Tema		Respuestas	Vistas
Issues with AWS CDN and S3 Self-hosting cdn , s3	23	433	29 Enero 2026
Set up file and image uploads to S3 Self-Hosting configuring , how-to	35	120272	25 Octubre 2025
Cloudflare R2: Navigating Setup and Handling Configuration Errors Self-hosting s3	55	2211	30 Octubre 2025
Set up BackBlaze S3 with BunnyCDN Sysadmins how-to	34	6749	17 Abril 2025
Unable to setup S3 bucket Self-hosting uploads , s3	11	344	12 Enero 2025

Configurar un proveedor de almacenamiento de objetos compatible con S3 para cargas

Configuración

AWS S3

Digital Ocean Spaces

Linode Object Storage

Google Cloud Platform Storage

Scaleway Object Storage

Vultr Object Storage

Backblaze B2 Cloud Storage

MinIO Storage Server

Azure Blob Storage con Flexify.IO

Wasabi

Oracle Cloud

Cloudflare R2

Temas relacionados