S3 media salva milhões de xmls AccessDenied

O Discourse funciona muito bem, a mídia no S3 funciona muito bem. No entanto, acabei de notar que o bucket S3 tem milhares de pequenos arquivos salvos todos os dias como este:

O conteúdo de cada arquivo se parece com isto:

<Error>
<Code>AccessDenied</Code>
<Message>Access Denied</Message>
<RequestId>VR5CF6C4VFAN</RequestId>
<HostId>OVpQx+h2s8sE0UG/k9/x6//kAW+Lq8/MXnwYDr0gOxnz3phq/uv4BXEaVw0CQ=</HostId>
</Error>

Por que isso está acontecendo?
Posso excluir esses arquivos?

2 curtidas

Parecem logs ou backups. Você consegue baixar um arquivo diretamente do painel do S3 (não pela URL pública) e ver o conteúdo deles? Isso indicará o que os está gerando. :slight_smile:

2 curtidas

Este é o arquivo diretamente do S3. O Discourse salva esses pequenos arquivos XML no bucket S3 por algum motivo.

A mídia (imagens, PDFs, etc.) no meu Discourse está funcionando bem, sem nenhum problema.

EDIT:
Desculpe, acabei de perceber o que você estava perguntando, este é o conteúdo do arquivo:

de8e8e3b4675asd1a459600d7606d06568b10b1e94ea61ec54c36ccef95dcf rsrbt [25/Sep/2020:18:08:42 +0000] 99.124.56.223 de8e8e3b46a459500d760068b15e410b1e94ea61ec54ccef95dcf 0FA4CAA473DCF77B REST.GET.CORS - "GET /rsrbt?cors= HTTP/1.1" 404 NoSuchCORSConfiguration 311 - 33 - "-" "S3Console/0.4, aws-internal/3 aws-sdk-java/1.11.783 Linux/4.9.217-0.1.ac.205.84.332.metal1.x86_64 OpenJDK_64-Bit_Server_VM/25.252-b09 java/1.8.0_252 vendor/Oracle_Corporation" - hQWfzngEbMCWnJf3y1ELQgUAJgUHvslvzl6ZXixF1xZlaT7UUXik2HK8ggU8= SigV4 ECDHE-RSA-AES128-SHA AuthHeader s3.us-east-2.amazonaws.com TLSv1.2
3 curtidas

Eu acho que esses são os seus logs do servidor, com base no formato.

Esses documentos mostram como desativar o recurso ou excluir os logs. :slight_smile:

Os logs não são acessíveis ao público, daí as mensagens de “Acesso negado”.

3 curtidas

@Alon1 Eu estava apenas explorando as configurações de upload quando notei enable s3 inventory. Nunca usei esse recurso, mas pela descrição…

Gere relatórios e verifique uploads usando o inventário do Amazon S3. IMPORTANTE: requer credenciais S3 válidas (tanto ID da chave de acesso quanto chave de acesso secreta).

…e pensei no seu diretório de arquivos. Outro caminho para pesquisar, caso os logs do S3 não sejam os descritos na documentação vinculada. :slight_smile:

3 curtidas

Para referência futura, caso mais alguém tenha esse problema, os arquivos eram arquivos de log. Para pará-los, vá para a aba de propriedades do seu bucket na AWS
image
role para baixo até o painel de registro do servidor (e clique em Editar):
image
Em seguida, simplesmente desative e salve:

2 curtidas