Deduplicação com LessFS

Neste artigo mostro como funciona o LessFS, uma ferramenta para deduplicar arquivos economizando espaço em disco. Essa ferramenta é ótima para servidores de arquivos.

[ Hits: 19.529 ]

Por: Ricardo Lino Olonca em 13/10/2011


Configuração e uso



Execute o comando:

# mklessfs -fc /etc/lessfs.cfg

Com esse comando a configuração padrão criará uma pasta /data na raiz. Esta pasta conterá os banco de dados necessário ao LessFS.

# mkdir /mnt/lessfs
# lessfs /etc/lessfs.cfg /mnt/lessfs


Esse comando montará o drive /mnt/lessfs. É neste drive que deverão ser copiados os dados que serão deduplicados.

Nos meus testes, utilizei uma pasta com 212 arquivos e 55Gb de espaço. Modifiquei apenas a diretiva COMPRESSION do arquivo lessfs.cfg. Para efeito de teste, utilizei um dos seguintes valores em cada teste:
  • COMPRESSION=qlz - O padrão
  • COMPRESSION=none - Sem compactação
  • COMPRESSION=bzip - Compactação usando Bzip.

Quando se usa o ls -l, é mostrado o resultado dos arquivos sem a deduplicação. O estado real dos arquivos pode ser visto no arquivo /mnt/lessfs/.lessfs/lessfs_status.

Os resultados do desempenho são os mostrados no gráfico abaixo. Nele eu mostro o quanto de compactação foi ganho, bem como a velocidade de gravação em cada configuração.
Linux: Deduplicação com LessFS

Conclusão

O uso de deduplicação está crescendo em servidores, e o LessFS é uma opção de software a ser considerada.

Ao contrário do que eu pensei, a configuração padrão é mais rápida do que a sem compactação. Se usar Bzip, o ganho de espaço é fenomenal, mas além do baixo desempenho, o processamento também é muito alto.

Dependendo da situação, pode-se usar várias pastas com diferentes configurações, como Bzip para arquivos que não são acessados com muita frequência, padrão para arquivos de programas etc.

Página anterior    

Páginas do artigo
   1. Introdução
   2. Configuração e uso
Outros artigos deste autor

Entendendo TCP/IP (Parte 3) - Resolução de nomes

Entendendo o TCP/IP

Entendendo TCP/IP (Parte 5) - Portas TCP/UDP

Entendendo TCP/IP (parte 4) - DHCP

MooseFS - Sistema de arquivos distribuído

Leitura recomendada

Alta disponibilidade ISCSI e Multipath - RedHat

Montando partições NTFS no Fedora 3 através do Captive

Sistema de arquivos distribuídos usando Gmail

Instalação dual boot UEFI Linux Mint/Ubuntu com Windows 8.1/10

Criando um pacote TXZ no Slackware

  
Comentários

Nenhum comentário foi encontrado.


Contribuir com comentário




Patrocínio

Site hospedado pelo provedor RedeHost.
Linux banner

Destaques

Artigos

Dicas

Tópicos

Top 10 do mês

Scripts