Arquivos duplicados? fdupes neles!

Veremos aqui como recuperar espaço em disco utilizando a ferramenta fdupes, que trata da remoção dos arquivos duplicados.

[ Hits: 50.783 ]

Por: edps em 13/01/2012 | Blog: https://edpsblog.wordpress.com/


Introdução



E mais uma vez tive problemas com meus arquivos pessoais. Bem, não são meus, mas é como se fossem, já que recai sobre mim a tarefa de recuperá-los.

Quando fiz o artigo sobre o PhotoRec aqui no VOL, tive um problema parecido, dessa vez não sei se o real problema foi a criação das unidades virtuais pelo Wine e como o sistema as trata, ou se é um 'bug' do PcManFM no que tange aos links simbólicos.

O fato é que ao mover meus arquivos de backup da minha "/home" do Debian (para o backup uso o 'rsync'), é de praxe que, ao restaurá-los para a nova "/home", uso o tradicional 'Ctrl+C' e 'Ctrl+V', daí que veio o problema: ao clicar em cancelar (na janela de progresso) simplesmente todos os dados das pastas pessoais de minha esposa e filha, foram deletados.

Lembro que na pasta 'Desktop' havia 2 links simbólicos para as referidas pastas, que tem sua localização real em "/media/arquivos".

Enfim, voltei ao fantástico Photorec. Se você não conhece, eis o link:
Tendo recuperado os arquivos, na verdade os de extrema importância, eram as fotos e documentos ".doc".

Obs.: As extensões a serem ignoradas e uma solução mais elegante (cortesia do colega hudyfx) podem ser vistas neste tópico do VOL:
Embora excelente, o único problema do Photorec é que os arquivos recuperados não ficam com os nomes originais, e muitas das vezes mais de uma versão do mesmo arquivo é recuperada.

É para este segundo caso que trataremos agora. Com vocês o fdupes!

Disponível para a maioria das distribuições, instalá-lo no Debian e em seus derivados é muito simples:

sudo apt-get update
$ sudo apt-get install fdupes -y
Linux: Arquivos duplicados? fdupes neles!

O 'help' do programa:

fdupes --help
Linux: Arquivos duplicados? fdupes neles!

    Próxima página

Páginas do artigo
   1. Introdução
   2. Utilização
Outros artigos deste autor

Debian Squeeze Backports

Debian Constantly Usable Testing (CUT)

Ubuntu Lucid Lynx - Instalação mínima (mini-iso) de 13MB

Arno Iptables Firewall (poderoso e simples)

JIGDO, atualização de uma imagem .iso

Leitura recomendada

Acesso a compartilhamentos do Samba sendo autenticados pelo Active Directory usando Kerberos

MooseFS - Sistema de arquivos distribuído

Clonando HDs via rede com G4U (Ghost for UNIX)

Alta disponibilidade: CentOS 6 - configurando os pacotes DRBD com gfs2 - parte 1

Configuração de Servidor SFTP

  
Comentários
[1] Comentário enviado por removido em 13/01/2012 - 10:33h

Show de bola edps ! Excelente artigo.

Ótima ferramenta, não conhecia esta.

Valeu cara.

Abraço.

[2] Comentário enviado por fernandoborges em 13/01/2012 - 16:31h

Excelente, parabéns!!!

[3] Comentário enviado por removido em 13/01/2012 - 21:39h

Valeu pessoal,

obrigado pelos comentários.

[4] Comentário enviado por mbrainiac em 15/01/2012 - 12:46h

Olá EDPs,

Vou testar sua dica, muito obrigado por repartilhar conosco!

[5] Comentário enviado por andretyn em 15/01/2012 - 20:06h

Boa EDPS,

Com tua dica, limpei minha área de trabalho, tá sem arquivos duplicados!
Muito Obrigado ;)

[6] Comentário enviado por crf-rafa em 15/01/2012 - 20:21h

Parece que advinha oq to procurando
Vou testar agora!
E outra coisa, como deixa o terminal assim? *-*

[7] Comentário enviado por removido em 15/01/2012 - 21:21h

Obrigado pelos comentários;

@mbrainiac, @andretyn e @crf-rafa.

A todos os que lerem recomendo que antes de executar qualquer tarefa, SEMPRE façam backups do que irá ser alterado.


@@crf-rafa, é uma alteração no arquivo ~/.bashrc :

http://www.vivaolinux.com.br/artigo/O-bashrc-de-meu-Debian/

[8] Comentário enviado por removido em 10/03/2012 - 20:51h

O bug do PcManFM ao mover arquivos foi resolvido:

http://img196.imageshack.us/img196/3244/pcmanfmlog.png

* verifiquei movendo uma pasta com muitos arquivos e cancelei a operação para ver o que ocorreria, não tive problemas.

[9] Comentário enviado por xiloba em 06/04/2013 - 17:53h

Muito bom este programa.
Com fdupes -frAn -Nd /pasta resolvo tudo!
Valeu pela dica.

[10] Comentário enviado por perfection em 29/06/2016 - 23:28h

edps tenho a seguinte dúvida se puder resolver:

Meu problema é que preciso buscar duplicados em 2 pastas que juntas passam de milhões de arquivos. Elas tem 2Tb de tamanho. Essas 2 pastas são arquivos que eu recuperei e claro existem duplicados com os que estou usando HOJE.

O fdupes funciona, já o testei, mas minha dificuldade está em DIZER a ele ONDE APAGAR!

Exemplo: Comparando a pasta 1 com a pasta 2
1) Meus Arquivos na pasta 1 (Não podem ser apagados sob hipótese alguma)
2) Os arquivos que estiverem duplicados na pasta 2 DEVEM ser apagados.

PROBLEMA: Não encontrei um critério que permita colocar SEMPRE na 1 opção meus arquivos da pasta 1
Acontece do fdupes ora colocar a pasta 1 primeiro e ora colocar a pasta 2 primeiro

Isso me impede de usar exclusão automática. E não posso usar manual porque eu levaria anos fazendo isso!

Pode ajudar?

[11] Comentário enviado por ede_linux em 28/12/2017 - 21:12h

Olá,

Existe maneira de aplicar o fdupes apenas sobre ficheiros do tipo PDF?
Isto de apagar duplicados é muito bom mas tem um problema. Imagina que tens arquivos de programas de C ou de outro qualquer. Por norma são programas que tu tens o executável numa pasta e nessa mesma pasta tens vários arquivos que precisas para executar o programa com sucesso. Acontece que se tiveres várias pastas dessas, vários programas de um determinado software, existem muitos ficheiros duplicados. O ficheiro xpto.cgf existe em cada uma das pastas que tens correspondente ao programa fazerCódigo da microsoft, imaginem. Se vai aplicar o fdupes ele vai apagar todos os xpto.cgf que encontrar e manter apenas um. Quando fores abrir o programa este já não vai dar, pois falta o tal ficheiro. Não sei se consegui explicar bem!

@perfection
Não queres apagar os ficheiros da pasta 1 porque depois corres o risco de ter o ficheiro mas na pasta 2. E isso não pode acontecer, pois não queres mexer na pasta1, é isso?

Obrigado

[12] Comentário enviado por ramon.rdm em 08/01/2019 - 11:02h

Olá!
Muito boa a dica!
Gostaria de saber se essa opção -L ainda existe? Pois na minha instalação do fduples não tem como chamar ela.
Obrigado!

[13] Comentário enviado por edps em 08/01/2019 - 19:58h


[12] Comentário enviado por ramon.rdm em 08/01/2019 - 11:02h

Olá!
Muito boa a dica!
Gostaria de saber se essa opção -L ainda existe? Pois na minha instalação do fduples não tem como chamar ela.
Obrigado!



Rapaz eu não estou usando o programa atualmente, mas acho que tem opções que não mais existem, não lembro se é a -A, ou outra, na dúvida veja a manpage:

$ man fdupes

Se te interessar veja também isso:

https://edpsblog.wordpress.com/2018/11/02/how-to-remocao-de-arquivos-duplicados-com-rdfind/


Contribuir com comentário




Patrocínio

Site hospedado pelo provedor RedeHost.
Linux banner

Destaques

Artigos

Dicas

Tópicos

Top 10 do mês

Scripts