Por que backup de milhões de arquivos pequenos custa tão caro

Existe um momento em que a conta de nuvem deixa de fazer sentido. Você olha o volume armazenado, olha a tabela de preços, multiplica — e o valor da fatura é muito maior do que a multiplicação. A explicação quase sempre é a mesma: você não está pagando pelo espaço, está pagando pelas operações.

A conta que ninguém faz antes

Provedores de object storage cobram por duas coisas bem diferentes:

• Armazenamento, por gigabyte por mês. É o número que todo mundo olha.
• Requisições, por operação. É o número que quase ninguém soma.

Enquanto os arquivos são grandes, a segunda parcela é irrelevante. Um acervo de 10 TB em arquivos de 500 MB são cerca de 20 mil objetos — o custo de requisição some diante do armazenamento.

Agora troque o tamanho médio. Os mesmos 10 TB em arquivos de 300 KB viram cerca de 35 milhões de objetos. Copiar isso para um bucket de backup significa 35 milhões de operações de escrita. E como quase todo backup roda de novo periodicamente, esse número se repete a cada execução.

A conta é direta:

objetos = volume_total ÷ tamanho_médio
custo_de_escrita = (objetos ÷ 1.000) × preço_por_mil_PUT

Faça essa continha com o seu volume real e o preço da sua região antes de qualquer decisão. Ela costuma explicar a fatura sozinha.

A armadilha do tamanho mínimo cobrado

Há um segundo efeito que agrava tudo, e esse é específico das camadas de arquivamento.

Nas classes de arquivamento profundo da AWS, cada objeto carrega metadados cobrados à parte: 32 KB cobrados na tarifa da própria camada de arquivamento, mais 8 KB cobrados na tarifa da classe padrão. São 40 KB adicionais por objeto.

Para um arquivo de 300 MB, 40 KB é ruído. Para um arquivo de 8 KB, você está pagando por 48 KB — seis vezes o tamanho real do dado. Multiplique por milhões de objetos e a "camada mais barata da AWS" fica mais cara que a camada padrão.

Existe ainda o período mínimo de cobrança: 180 dias no arquivamento profundo. Apagar um objeto antes disso não economiza — você paga os 180 dias de qualquer forma. Isso torna arquivo pequeno com ciclo de vida curto um péssimo candidato a arquivamento individual.

Por que copiar objeto a objeto é a estratégia errada

A maioria das ferramentas de sincronização faz o óbvio: para cada objeto na origem, uma operação de escrita no destino. É correto, é simples, e é exatamente o que fica caro quando os arquivos são pequenos. Você paga:

1. Uma operação de escrita por arquivo, a cada execução que o incluir.
2. Os 40 KB de metadados por arquivo, se o destino for arquivamento.
3. O mínimo de 180 dias por arquivo, mesmo para arquivos efêmeros.

Nenhuma dessas parcelas melhora com desconto por volume. Elas escalam linearmente com a quantidade de arquivos — e a quantidade é justamente o que cresce no seu cenário.

A saída: mudar a unidade

Se o custo é por objeto, a solução é reduzir o número de objetos sem perder nenhum arquivo. Ou seja: agrupar antes de enviar.

Empacotar milhares de arquivos num único pacote comprimido transforma milhares de operações de escrita em uma. Os mesmos 35 milhões de objetos, agrupados em pacotes de alguns gigabytes, viram alguns milhares de operações. As três parcelas caem juntas: menos requisições, metadados cobrados uma vez por pacote em vez de por arquivo, e o mínimo de 180 dias aplicado a poucos objetos grandes.

A compressão é bônus, não o ponto principal. O ponto é a contagem.

O problema que o agrupamento cria — e como resolver

Agrupar tem um custo óbvio: você perde a capacidade de recuperar um arquivo isolado. Se para restaurar um documento de 300 KB for preciso baixar um pacote de 5 GB, você trocou um problema de custo por um problema de operação.

É por isso que agrupar só funciona junto com um índice. Cada arquivo precisa estar registrado com o pacote em que está e a posição dentro dele. Com esse índice, recuperar um arquivo individual continua sendo possível: localiza-se o pacote, lê-se apenas o trecho necessário e extrai-se aquele arquivo.

Sem índice, agrupamento é economia hoje e dor de cabeça na primeira recuperação. Com índice, é economia sem contrapartida operacional.

O que fazer antes de decidir

1. Meça o tamanho médio real dos seus objetos. Não estime — liste e divida. A diferença entre 300 KB e 3 MB muda completamente a conclusão.
2. Some as requisições, não só o armazenamento. Use a fórmula acima com a tabela de preços vigente da sua região.
3. Verifique o mínimo cobrado da camada de destino, tanto de tamanho quanto de permanência.
4. Simule antes de mover. Qualquer ferramenta séria deve dizer quantos objetos e quanto custo a operação vai gerar antes de escrever o primeiro byte.

Os preços mudam e variam por região — confirme sempre na tabela oficial do provedor. O que não muda é a estrutura da conta: em acervos de arquivos pequenos, a quantidade manda mais que o volume.

O NubliVault foi construído em torno dessa ideia: empacota os arquivos de cada cliente em .tar.zst, envia para a AWS e mantém um manifesto pesquisável que permite restaurar um arquivo individual sem baixar o pacote inteiro. Você pode simular o custo ou testar por 14 dias.