Dicas sobre Google Cloud S3

Wiki da comunidade Administradores de sistemas
,
1

@Pfaffman dividiu estas informações do Google Cloud, que não se encaixam necessariamente na OP, mas devem ser salvas para aqueles que têm problemas com o Google Cloud

Olá,

Obrigado pela dica, mas não funcionou para mim até que eu mudei a função de “Storage Legacy Object Owner” para “Storage Legacy Bucket Owner”.

Está especificamente escrito na dica de ferramenta ao selecionar a função:

Storage Legacy Object Owner

Acesso de leitura/gravação a objetos existentes sem listagem.

Storage Legacy Bucket Owner

Acesso de leitura e gravação a buckets existentes com listagem/criação/exclusão de objetos.

Agora funciona, incluindo a listagem, o que permite o backup automático! hurra!!

3 curtidas
2

Sobre o uso do S3 em Google Buckets:

Como mencionei aqui:
https://meta.discourse.org/t/using-object-storage-for-uploads-s3-clones/148916/334
Posso confirmar que a listagem funciona e o backup automático funciona usando uma conta de serviço com a função Storage Legacy Bucket Owner no bucket.

Esteja ciente de que usar S3 para Google Bucket implica selecionar apenas uma Região que tenha o mesmo nome na Amazon e no Google.
Acho bobo que você precise escolher em um menu suspenso com validação de backend (tentei mexer na API sem sucesso) em vez de digitar.

Isso implica que você não pode usar um bucket na Europa, por exemplo, pois o prefixo na Amazon é EU e na Google é EUROPE, nem pode usar multi-região.

AWS:

Nome da Região Código
Leste dos EUA (Ohio) us-east-2
Leste dos EUA (N. Virgínia) us-east-1
Oeste dos EUA (N. Califórnia) us-west-1
Oeste dos EUA (Oregon) us-west-2
África (Cidade do Cabo) af-south-1
Ásia-Pacífico (Hong Kong) ap-east-1
Ásia-Pacífico (Jacarta) ap-southeast-3
Ásia-Pacífico (Mumbai) ap-south-1
Ásia-Pacífico (Osaka) ap-northeast-3
Ásia-Pacífico (Seul) ap-northeast-2
Ásia-Pacífico (Singapura) ap-southeast-1
Ásia-Pacífico (Sydney) ap-southeast-2
Ásia-Pacífico (Tóquio) ap-northeast-1
Canadá (Central) ca-central-1
China (Pequim) cn-north-1
China (Ningxia) cn-northwest-1
Europa (Frankfurt) eu-central-1
Europa (Irlanda) eu-west-1
Europa (Londres) eu-west-2
Europa (Milão) eu-south-1
Europa (Paris) eu-west-3
Europa (Estocolmo) eu-north-1
Oriente Médio (Bahrein) me-south-1
América do Sul (São Paulo) sa-east-1

Google:

Continente Nome da Região Descrição da Região
América do Norte
NORTHAMERICA-NORTHEAST1 Montreal
NORTHAMERICA-NORTHEAST2 Toronto
US-CENTRAL1 Iowa
US-EAST1 Carolina do Sul
US-EAST4 Norte da Virgínia
US-EAST5 Columbus
US-SOUTH1 Dallas
US-WEST1 Oregon
US-WEST2 Los Angeles
US-WEST3 Salt Lake City
US-WEST4 Las Vegas
América do Sul
SOUTHAMERICA-EAST1 São Paulo
SOUTHAMERICA-WEST1 Santiago
Europa
EUROPE-CENTRAL2 Varsóvia
EUROPE-NORTH1 Finlândia
EUROPE-SOUTHWEST1 Madri
EUROPE-WEST1 Bélgica
EUROPE-WEST2 Londres
EUROPE-WEST3 Frankfurt
EUROPE-WEST4 Holanda
EUROPE-WEST6 Zurique
EUROPE-WEST8 Milão
EUROPE-WEST9 Paris
Ásia
ASIA-EAST1 Taiwan
ASIA-EAST2 Hong Kong
ASIA-NORTHEAST1 Tóquio
ASIA-NORTHEAST2 Osaka
ASIA-NORTHEAST3 Seul
ASIA-SOUTH1 Mumbai
ASIA-SOUTH2 Delhi
ASIA-SOUTHEAST1 Singapura
Indonésia
ASIA-SOUTHEAST2 Jacarta
Austrália
AUSTRALIA-SOUTHEAST1 Sydney
AUSTRALIA-SOUTHEAST2 Melbourne

Também acho bobo ter que definir essas opções nas Configurações de Arquivos. Não usei S3 para fazer upload de arquivos, apenas para backup. É necessário ter um bucket diferente para uploads e backups, mas há apenas um lugar para definir a região, que é nas Configurações de Arquivos.

Espero que isso economize tempo de alguém descobrindo isso.

PS: Depurei usando https://discourse.example.com/logs/
…
Falha ao listar backups do S3: A restrição de local especificada não é válida. –> Problema de Região
…
Falha ao listar backups do S3: Acesso negado. –> Storage Legacy Object Owner em vez de Storage Legacy Bucket Owner

1 curtida
3

Se você configurar usando as variáveis de ambiente conforme descrito no OP e definir DISCOURSE_S3_ENDPOINT como recomendado, DISCOURSE_S3_REGION será ignorado, tornando isso um não-problema.

2 curtidas
4

Obrigado,
O problema é que eu uso a instalação “one click” de VM do Bitnami do Google Cloud Marketplace.
Provavelmente é possível personalizar as variáveis de ambiente, mas não é simples.
Definir o endpoint na interface do usuário não ignora a região.

Obrigado de qualquer forma.

5

Muito obrigado!
De fato, esqueci de adicionar o snippet.

Infelizmente, recebo o seguinte erro:

Aws::S3::Errors::InvalidArgument: Argumento inválido.

Isso é muito consistente com o erro que recebi ao usar a Interface Web, mas não há muito com o que trabalhar para resolver o problema…

Encontrei este tópico que sugere que pode haver uma incompatibilidade com o Google Storage em comparação com o Amazon S3.

Isso pode estar quebrado para o Google Storage?

Pilha completa ao executar a tarefa manualmente:

root@discourse-2-app:/var/www/discourse# sudo -E -u discourse bundle exec rake s3:upload_assets --trace
** Invoke s3:upload_assets (first_time)
** Invoke environment (first_time)
** Execute environment
** Invoke s3:ensure_cors_rules (first_time)
** Invoke environment
** Execute s3:ensure_cors_rules
Instalando regras CORS...
pulando
** Execute s3:upload_assets
Uploading: assets/docker-manager-app-ecd2975f42c4096057a046c086d6a43905c8a18442900d5293ae9a3489422bb0.js
rake aborted!
Aws::S3::Errors::InvalidArgument: Argumento inválido.
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-core-3.130.2/lib/seahorse/client/plugins/raise_response_errors.rb:17:in `call'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-s3-1.114.0/lib/aws-sdk-s3/plugins/sse_cpk.rb:24:in `call'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-s3-1.114.0/lib/aws-sdk-s3/plugins/dualstack.rb:27:in `call'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-s3-1.114.0/lib/aws-sdk-s3/plugins/accelerate.rb:56:in `call'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-core-3.130.2/lib/aws-sdk-core/plugins/checksum_algorithm.rb:111:in `call'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-core-3.130.2/lib/aws-sdk-core/plugins/jsonvalue_converter.rb:22:in `call'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-core-3.130.2/lib/aws-sdk-core/plugins/idempotency_token.rb:19:in `call'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-core-3.130.2/lib/aws-sdk-core/plugins/param_converter.rb:26:in `call'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-core-3.130.2/lib/seahorse/client/plugins/request_callback.rb:71:in `call'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-core-3.130.2/lib/aws-sdk-core/plugins/response_paging.rb:12:in `call'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-core-3.130.2/lib/seahorse/client/plugins/response_target.rb:24:in `call'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-core-3.130.2/lib/seahorse/client/request.rb:72:in `send_request'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-s3-1.114.0/lib/aws-sdk-s3/client.rb:12369:in `put_object'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-s3-1.114.0/lib/aws-sdk-s3/object.rb:1472:in `put'
/var/www/discourse/lib/s3_helper.rb:75:in `upload'
/var/www/discourse/lib/tasks/s3.rake:37:in `block in upload'
/var/www/discourse/lib/tasks/s3.rake:36:in `open'
/var/www/discourse/lib/tasks/s3.rake:36:in `upload'
/var/www/discourse/lib/tasks/s3.rake:192:in `block (2 levels) in <main>'
/var/www/discourse/lib/tasks/s3.rake:191:in `each'
/var/www/discourse/lib/tasks/s3.rake:191:in `block in <main>'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/task.rb:281:in `block in execute'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/task.rb:281:in `each'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/task.rb:281:in `execute'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/task.rb:219:in `block in invoke_with_call_chain'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/task.rb:199:in `synchronize'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/task.rb:199:in `invoke_with_call_chain'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/task.rb:188:in `invoke'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/application.rb:160:in `invoke_task'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/application.rb:116:in `block (2 levels) in top_level'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/application.rb:116:in `each'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/application.rb:116:in `block in top_level'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/application.rb:125:in `run_with_threads'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/application.rb:110:in `top_level'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/application.rb:83:in `block in run'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/application.rb:186:in `standard_exception_handling'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/application.rb:80:in `run'
/var/www/discourse/vendor/bundle/ruby/2.7.0/exe/rake:27:in `<top (required)>'
/var/www/discourse/vendor/bundle/ruby/2.7.0/bin/rake:25:in `load'
/var/www/discourse/vendor/bundle/ruby/2.7.0/bin/rake:25:in `<top (required)>'
/usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.3.20/lib/bundler/cli/exec.rb:58:in `load'
/usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.3.20/lib/bundler/cli/exec.rb:58:in `kernel_load'
/usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.3.20/lib/bundler/cli/exec.rb:23:in `run'
/usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.3.20/lib/bundler/cli.rb:485:in `exec'
/usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.3.20/lib/bundler/vendor/thor/lib/thor/command.rb:27:in `run'
/usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.3.20/lib/bundler/vendor/thor/lib/thor/invocation.rb:127:in `invoke_command'
/usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.3.20/lib/bundler/vendor/thor/lib/thor.rb:392:in `dispatch'
/usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.3.20/lib/bundler/cli.rb:31:in `dispatch'
/usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.3.20/lib/bundler/vendor/thor/lib/thor/base.rb:485:in `start'
/usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.3.20/lib/bundler/cli.rb:25:in `start'
/usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.3.20/exe/bundle:48:in `block in <top (required)>'
/usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.3.20/lib/bundler/friendly_errors.rb:120:in `with_friendly_errors'
/usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.3.20/exe/bundle:36:in `<top (required)>'
/usr/local/bin/bundle:25:in `load'
/usr/local/bin/bundle:25:in `<main>'
Tasks: TOP => s3:upload_assets

PS: Não estou considerando mudar de bucket, mas me pergunto o que aconteceria com as imagens previamente carregadas no disco da VM.

EDIT (RESOLVIDO):
@gerhard @Falco
Descobri qual era o problema ativando o http_wire_trace.
A resposta de argumento inválido do googleapis explica:
Não é possível inserir ACL legado para um objeto quando o acesso uniforme em nível de bucket está ativado. Leia mais em Uniform bucket-level access  |  Cloud Storage  |  Google Cloud

Ativei a ACL granular no bucket em vez da ACL uniforme porque o cabeçalho definido durante o upload especifica que ele é público. (Eu tinha uma ACL uniforme e defini todo o bucket como público)

Não tenho permissão para atualizar o OP, mas acho que ele deveria mencionar que, para que os buckets do Google funcionem, a conta de serviço precisa ter a função Proprietário Legado do Bucket de Armazenamento no bucket de backup e o bucket de upload precisa usar a ACL granular.

Espero que isso economize tempo para a comunidade.
Obrigado novamente a @Falco @pfaffman @gerhard @tuanpembual pela ajuda aqui.

2 curtidas