Deduplicação com LessFS

Neste artigo mostro como funciona o LessFS, uma ferramenta para deduplicar arquivos economizando espaço em disco. Essa ferramenta é ótima para servidores de arquivos.

[ Hits: 19.150 ]

Por: Ricardo Lino Olonca em 13/10/2011


Configuração e uso



Execute o comando:

# mklessfs -fc /etc/lessfs.cfg

Com esse comando a configuração padrão criará uma pasta /data na raiz. Esta pasta conterá os banco de dados necessário ao LessFS.

# mkdir /mnt/lessfs
# lessfs /etc/lessfs.cfg /mnt/lessfs


Esse comando montará o drive /mnt/lessfs. É neste drive que deverão ser copiados os dados que serão deduplicados.

Nos meus testes, utilizei uma pasta com 212 arquivos e 55Gb de espaço. Modifiquei apenas a diretiva COMPRESSION do arquivo lessfs.cfg. Para efeito de teste, utilizei um dos seguintes valores em cada teste:
  • COMPRESSION=qlz - O padrão
  • COMPRESSION=none - Sem compactação
  • COMPRESSION=bzip - Compactação usando Bzip.

Quando se usa o ls -l, é mostrado o resultado dos arquivos sem a deduplicação. O estado real dos arquivos pode ser visto no arquivo /mnt/lessfs/.lessfs/lessfs_status.

Os resultados do desempenho são os mostrados no gráfico abaixo. Nele eu mostro o quanto de compactação foi ganho, bem como a velocidade de gravação em cada configuração.
Linux: Deduplicação com LessFS

Conclusão

O uso de deduplicação está crescendo em servidores, e o LessFS é uma opção de software a ser considerada.

Ao contrário do que eu pensei, a configuração padrão é mais rápida do que a sem compactação. Se usar Bzip, o ganho de espaço é fenomenal, mas além do baixo desempenho, o processamento também é muito alto.

Dependendo da situação, pode-se usar várias pastas com diferentes configurações, como Bzip para arquivos que não são acessados com muita frequência, padrão para arquivos de programas etc.

Página anterior    

Páginas do artigo
   1. Introdução
   2. Configuração e uso
Outros artigos deste autor

Entendendo TCP/IP (Parte 3) - Resolução de nomes

MooseFS - Sistema de arquivos distribuído

Entendendo TCP/IP (parte 4) - DHCP

Entendendo o TCP/IP

Entendendo TCP/IP (parte 2) - Endereços IP

Leitura recomendada

Sistema de identificação em rede (NIS)

Configurando leitores ópticos e HDs

Criar RAID no Linux

Gerenciando quotas de disco

Montando um servidor Linux com sshfs no SuSE

  
Comentários

Nenhum comentário foi encontrado.


Contribuir com comentário




Patrocínio

Site hospedado pelo provedor RedeHost.
Linux banner

Destaques

Artigos

Dicas

Tópicos

Top 10 do mês

Scripts