Sincronizar arquivos em ambiente misto - RealTime

jairovisks
(usa Debian)

Enviado em 09/11/2012 - 12:38h

Salve galera,

Preciso sincronizar arquivos entre windows e linux, porém preciso que seja em tempo real.
O que acontece é o seguinte:

Na empresa onde trabalho o fileserver é bem grande (cerca de 850GB) para backupear, o grande problema é que possuímos apenas UMA UNIDADE DE FITA LTO3 (arhhh) e acontece que o tempo necessário para fazer o backup é maior que a janela que possuo, o que acaba causando muita lentidão pra quem acessa o servidor.

Pensei em sincronizar os arquivos com um diretório no linux e fazer o backup com bacula a partir dele, dessa forma o processamento fica no linux e não atrapalha o tráfego da rede no fileserver (além de minha janela ser praticamente 24Hrs).

Já tentei com o Unison, Rsync e vários outros softs que fazem sync, porém todos eles executam sob demanda (manual ou crontab) e todos eles fazem a leitura inteira de todos os diretórios, o que demora MUUUUIIITO pra começar a sync e acabo também perdendo a janela de backup.

Gostaria de saber se existe alguma aplicativo que faça essa sync realtime, assim o tempo da primeira sync é grande mas daí ele passa a alterar os arquivos assim que criados/alterados (tipo RAID).

Tenho um cenário parecido usando o DRBD com 2 linux, mas não achei um que faça entre SO's diferentes.

alguém conhece uma solução pra isso?

desde já grato,

removido
(usa Nenhuma)

Enviado em 09/11/2012 - 13:36h

Minguem trabalha com 850 GB!

Eu faria o seguinte. Transformaria esses 850 GB somente Leitura em uma outra partição. Na partição de escrita do Servidor de arquivos, criaria uma pasta com o ano corrente. Daria acesso via link simbólico aos arquivos de Leitura. Os arquivos que são necessário para trabalho, copia-se do diretório de leitura para a pasta do ano corrente.

Você só fará backup do ano corrente. Quando virar o ano, transforma para leitura e passa a backupear o novo ano. Sacou? Assim você faz backup do realimente está em uso.

Existem storages, que separam os arquivos que nunca são alterados ou abertos. Gera uma estatista de tempo de uso. A partir disso, você pode criar regras retirando esses arquivos de disco, e movendo para fitoteca. Tremenda mão na roda!

jairovisks
(usa Debian)

Enviado em 09/11/2012 - 14:32h

Fala amarildosertorio,

Primeiro valew resposta.

O que acontece aqui é seguinte:
- A empresa cresceu muito rapidamente e não tem infra-estrutura pra suportar isso.
- Além dos 850GB (isso para backup Full) preciso ter tempo para backups de gravações de ligações (empresa de cobrança), bakcups de e-mails, resumindo: sim, meu volume de dados é gigantesco.
- Obviamente essa quantidade de dados é um backup full, em se tratando de diferenciais ou incrementais ela diminui consideravelmente.
- Não posso siplesmente determinar se eles utilizam um arquivo ou não, eles devem fazer isso pra não gerar impacto pro negócio, o grande problema é que a resposta que recebi em todas as tentativas foi: "eu uso tudo que está lá", e os donos da empresa simplesmente não aceitam proposta alguma que altere a estrutura (de forma arbitrária), esse processo é muito burocrático.
- Investimento em tecnologias é mais difícil ainda, eles querem backup mas não querem gastar com storage, libraries, NAS, etc., querem um serviço de e-mail completo com calendários compartilhados no outlook mas não querem investir em exchange,zimbra, etc e por aí vai.


Dessa forma preciso trabalhar com o que tenho em mãos.

removido
(usa Nenhuma)

Enviado em 09/11/2012 - 15:42h

A ideia que dei é justamente para diminuir o full. Aqui geramos um full por semana. Nosso full dá em torno de 1,2 TB. Vamos mudar para a estrutura que te passei e estamos estudando mudar para 1 full por mês, 1 diferencial por semana e o resto incremental. Vai facilitar nossa vida!

Mas... Entendi seu ponto de vista!
O pessoal não aprende né! O dado é o mais importante! Aposto que um storage
de R$ 100.000,00 não pagaria a perca desses dados. Investimento é tudo!

jairovisks
(usa Debian)

Enviado em 09/11/2012 - 16:20h

Sem dúvida o investimento resolveria meu problema totalmente, fizemos até um "projeto" junto com a Dell que envolvia storage e library. Eles ficaram pasmados com os 115k que pediram, eles queria toda essa tecnologia por no máximo 30k, aí fica difícil... =(
Vou com paciência com eles até conseguir mudar esse cenário, mas enquanto isso vou fazendo o que dá.
De qualquer forma valeu pela resposta.