Deduplicação com LessFS
Neste artigo mostro como funciona o LessFS, uma ferramenta para deduplicar arquivos economizando espaço em disco. Essa ferramenta é ótima para servidores de arquivos.
Parte 2: Configuração e uso
Execute o comando:
# mklessfs -fc /etc/lessfs.cfg
Com esse comando a configuração padrão criará uma pasta /data na raiz. Esta pasta conterá os banco de dados necessário ao LessFS.
# mkdir /mnt/lessfs
# lessfs /etc/lessfs.cfg /mnt/lessfs
Esse comando montará o drive /mnt/lessfs. É neste drive que deverão ser copiados os dados que serão deduplicados.
Nos meus testes, utilizei uma pasta com 212 arquivos e 55Gb de espaço. Modifiquei apenas a diretiva COMPRESSION do arquivo lessfs.cfg. Para efeito de teste, utilizei um dos seguintes valores em cada teste:
Quando se usa o ls -l, é mostrado o resultado dos arquivos sem a deduplicação. O estado real dos arquivos pode ser visto no arquivo /mnt/lessfs/.lessfs/lessfs_status.
Os resultados do desempenho são os mostrados no gráfico abaixo. Nele eu mostro o quanto de compactação foi ganho, bem como a velocidade de gravação em cada configuração.
Ao contrário do que eu pensei, a configuração padrão é mais rápida do que a sem compactação. Se usar Bzip, o ganho de espaço é fenomenal, mas além do baixo desempenho, o processamento também é muito alto.
Dependendo da situação, pode-se usar várias pastas com diferentes configurações, como Bzip para arquivos que não são acessados com muita frequência, padrão para arquivos de programas etc.
# mklessfs -fc /etc/lessfs.cfg
Com esse comando a configuração padrão criará uma pasta /data na raiz. Esta pasta conterá os banco de dados necessário ao LessFS.
# mkdir /mnt/lessfs
# lessfs /etc/lessfs.cfg /mnt/lessfs
Esse comando montará o drive /mnt/lessfs. É neste drive que deverão ser copiados os dados que serão deduplicados.
Nos meus testes, utilizei uma pasta com 212 arquivos e 55Gb de espaço. Modifiquei apenas a diretiva COMPRESSION do arquivo lessfs.cfg. Para efeito de teste, utilizei um dos seguintes valores em cada teste:
- COMPRESSION=qlz - O padrão
- COMPRESSION=none - Sem compactação
- COMPRESSION=bzip - Compactação usando Bzip.
Quando se usa o ls -l, é mostrado o resultado dos arquivos sem a deduplicação. O estado real dos arquivos pode ser visto no arquivo /mnt/lessfs/.lessfs/lessfs_status.
Os resultados do desempenho são os mostrados no gráfico abaixo. Nele eu mostro o quanto de compactação foi ganho, bem como a velocidade de gravação em cada configuração.
Conclusão
O uso de deduplicação está crescendo em servidores, e o LessFS é uma opção de software a ser considerada.Ao contrário do que eu pensei, a configuração padrão é mais rápida do que a sem compactação. Se usar Bzip, o ganho de espaço é fenomenal, mas além do baixo desempenho, o processamento também é muito alto.
Dependendo da situação, pode-se usar várias pastas com diferentes configurações, como Bzip para arquivos que não são acessados com muita frequência, padrão para arquivos de programas etc.