Como você pode reduzir os custos de armazenamento do AWS S3?

Precisamos começar falando um pouco sobre o Amazon Simple Storage Service, mais conhecido como S3. Trata-se de um serviço de armazenamento de objetos da Amazon Web Services (AWS). Ele fornece uma solução escalável, segura e durável para armazenar dados na nuvem. As principais características e funcionalidades do AWS S3 são:

• Armazenamento de Objetos
• Escalabilidade
• Durabilidade e Disponibilidade
• Segurança
• Gerenciamento de Dados
• Baixo Custo

• Integração com Outros Serviços da AWS

Agora, como identificar oportunidades de redução de custos em S3?

S3 Storage Lens

Se você precisa de uma solução de observabilidade escalável que monitore o uso e a atividade do armazenamento do Amazon S3, além de trazer oportunidades de otimização, uma das opções é o S3 Storage Lens, um recurso do S3 que fornece visibilidade em toda a organização sobre o uso do armazenamento de objetos, tendências de atividades e recomendações práticas para otimizar custos e aplicar práticas recomendadas de proteção de dados.

Ao atualizar para o Storage Lens Advanced, você ganha 35 métricas adicionais e 15 meses de dados históricos.

Exemplos de oportunidades que podem ser levantadas pelo Storage Lens:

• Identificar buckets que não possuem regras de ciclo de vida do S3;
• Possíveis uploads de uploads multiparte incompletos com mais de sete dias
• Possíveis muitas versões de dados antigos
• Possíveis faltas de regras de ciclo de vida para encerrar uploads multiparte incompletos.
• Possíveis faltas de regras de ciclo de vida para objetos expirados com versões desatualizadas
• Possíveis faltas de regras de ciclo de vida para fazer a transição de objetos para uma classe de armazenamento mais barata

Ações para reduzir os custos de armazenamento do AWS S3

Reduzir os custos de armazenamento no S3 depende da quantidade de dados que você possui no serviço. Vamos abordar abaixo algumas ações que podem ser feitas realizadas:

• Remover objetos S3 não utilizado

Você provavelmente tem muitos dados desatualizados ou desnecessários dos quais não precisa. Quando muitos dados não utilizados se acumulam, os custos podem aumentar significativamente.

Você deve  revisar periodicamente seus dados em busca de objetos não utilizados e removê-los imediatamente para reduzir custos de armazenamento. Isso também se aplica aos logs das clouds . Você deve levantar oportunidades para excluir os logs periodicamente, por exemplo, a cada 7  dias.

• Excluir buckets S3 inteiros

Quando você tiver buckets que não acessa mais ou que não pertencem a cargas de trabalho anteriores, poderá excluí-los completamente. Tudo que você precisa é ativar as métricas de atividade que ajudam a descobrir buckets inativos. Depois de descobrir os buckets inativos, você pode decidir se vale a pena mantê-los ou excluí-los.

• Expirar uploads multiparte incompletos(Incomplete Multipart Uploads

Ao fazer upload de objetos grandes, o Amazon S3 usa multipart upload. Ele divide grandes partes em fragmentos menores, onde carrega cada fragmento de forma independente. A AWS então combina os fragmentos carregados em uma unidade completa.

Durante esse processo pode ocorrer  interrupções, onde o upload do bucket S3 pode manter alguns fragmentos. Os pedaços mantidos desperdiçam terabytes de espaço e a melhor solução é expira-las imediatamente. Com essa ação gera um resultado metade de liberar espaço no S3 assim reduzindo custos.

• Compactar dados antes de enviar para o S3

Os arquivos compactados são menores que os arquivos originais e geralmente ocupam pouco espaço. Depois de fazer a transferência, você pode baixar o arquivo e descompactá-lo. Isso economiza muito espaço, especialmente ao lidar com arquivos de texto.

Vamos falar um pouco sobre o Regras Lifecycle no S3…

O AWS S3 armazena dados em seis classes projetadas para acomodar diferentes requisitos. São elas:

• S3 Standard
• S3 One Zone – IA
• S3 Standard — Infrequent Access (IA)
• S3 Standard Intelligent Tiering
• S3 Glacier
• S3 Glacier Deep Archive

S3 Standard é o armazenamento padrão para dados acessados regularmente. O S3 Intelligent Tiering armazena dados com padrões variáveis, enquanto o S3 One Zone — IA e o S3 IA são classes de armazenamento de baixo custo para dados que os usuários não irão acessar com muita frequência.

Já o S3 Glacier e o S3 Glacier Deep Archive devem ser utilizados para arquivar e armazenar dados de backup de longo prazo.

Movimente os objetos automaticamente para classes de armazenamento S3 mais baratas!

Se você não tiver certeza de quando fazer a transição dos dados do Standard para o Standard-IA, é possível usar o Amazon S3 Storage Class Analysis para visualizar seus padrões de acesso ao armazenamento. Você precisará configurá-lo por bucket.

Depois de saber com que frequência você acessa determinados conjuntos de dados e quais pode arquivar, use as regras do ciclo de vida do Amazon S3 para mover objetos automaticamente da classe de armazenamento S3 Standard para:

• S3 One Zone – IA
• S3 Standard — Infrequent Access (IA)
• S3 Glacier

No geral, o Amazon S3 é uma escolha popular para empresas de todos os tamanhos que buscam uma solução confiável e escalável para armazenamento de dados na nuvem, mas precisamos analisar como utilizar da forma mais otimizada e eficiente possível dentro das funcionalidade e características do serviço e da sua aplicação. E claro essa redução de custos podem ser utilizadas em outros projetos e tecnologias prósperas definidas pela instituição.

Referências

• https://aws.amazon.com/pt/s3/
• https://aws.amazon.com/s3/storage-lens/
• https://aws.amazon.com/getting-started/hands-on/amazon-s3-storage-lens/