Como fazer um cluster de 6 nós com o Debian 12

lucazzbr
(usa Outra)

Enviado em 13/01/2025 - 17:11h

Olá pessoal, tudo bem?

Amigos, sou novo aqui e preciso de uma ajuda com um cluster. A história é a seguinte;

Comprei 10 CPUs de 4GB de RAM , um processador core 2 duo E 8400 3.00GHz e HD de 160 (Alguns variam entre processador de 2.4GHz e hd de 250GB). Eu os comprei na intenção de aluga-los fisicamente com teclado e mouse, porem um amigo meu que é empreendedor na área do TI me aconselhou a montar servidores dedicados ou hospedagem, já que eu não pago eletricidade pois vem de placa solares.Instalei o debian 12 em 6 maquinas e configurei um ip estático e fiz a conexão entre as maquinas via SSH, agora eu preciso configura-las para realizar um cluster de alta disponibilidade. O chat GPT me deu umas dicas como o Chronosync e pacemaker, mas eu preciso de mais detalhes pra colocar o projeto em prática. Já montei toda a infra, aumentei a banda pra 600Mega e comprei o switch pra conecta-los a internet. No momentos estão todos pingando dentro e fora da rede com acesso via SSH. Podem me ajudar com esse projeto pessoal? como eu não pago eletricidade e ainda to testando as maquinas e pegando experiência, vou deixar uma galera hospedar os sites gratuitamente no meu servidor por 1 ano pra eu poder pegar experiência na administração desse servidor (Eu ganho dinheiro em outra área, e meio que essa alternativa tmb é um hobbie , se gerar algum lucro é bom , se não tmb só a experiencia de gerenciar os servidores é muito gratificante.) Conto com a ajuda de vcs amigos! Desde já agradeço.

danniel-lara
(usa Fedora)

Enviado em 13/01/2025 - 18:08h

de uma lida ve se ajuda

https://www.vivaolinux.com.br/artigo/Montagem-de-Cluster

se for hospedar site o ideal seria usar um aplicação tipo
https://www.ispconfig.org/

ou aapanel
https://www.aapanel.com

mas tu vai ter que ver a questão de storage se for usar com arquivos é melhor usar storage compartilhado entre os hosts
ai tem o ceph e o clusterfs

https://www.vivaolinux.com.br/artigo/Ceph-Uma-Plataforma-de-Armazenamento-Distribuido

https://www.vivaolinux.com.br/artigo/GlusterFS-Um-Sistema-de-Arquivos-Distribuidos
https://www.vivaolinux.com.br/artigo/GlusterFS-Um-Sistema-de-Arquivos-Distribuidos-parte-2

Carlos_Cunha
(usa Linux Mint)

Enviado em 14/01/2025 - 09:13h

Cara, minha opinião, "fazer projeto" que envolvem outras pessoas(que esperarm que as coisas funcionem) com maquinas ja pelo jeito antigas e não feitas para operar 24 horas, e só para se incomodar...... Mesmo de graça a um certo minimo de funcionalidade esperada.
Vai ter dados de pessoas, so ai ja recomendo ter um Storage(Ou pelo menos um NAS com RAID), ou se vai barratear mais ainda. um FS Distribuido, vai precisar ter um balanceador de carga web, a complexidade dissom ai é bem grande.
Se é um projeto seu que so vc será afetado, blz, agora quando envolve outros, mesmo que de graça, a coisa precisa ser bem mais pensada e não será facil rapido se vc não tem conhecimento já.

Mas mesmo assim, vc pode fazer(seu direitro e foi apenas a minha opinião), antes de disponibilizar qualquer coisa, faria o projeto e execução, e grantiria minimo de funcionalidade.

O que eu teria nesse seu caso:
- FS Distribuido(ex: GlusterFS) para garantir que não tera perda de dados por falha de um disco e isso garnte acesso de todos do Cluster
- Um sistema de backup
- Balanceador de carga web(pelo menos 2) , como HA Proxy
- Firewall com WAF(ou separar ambos).
- De inicio isso e resto iria analisando conforme fosse fazendo o projeto.




#-------------------------------------------------------------------------------------#
"Falar é fácil, me mostre o código." - Linus Torvalds
#-------------------------------------------------------------------------------------#

Buckminster
(usa Debian)

Enviado em 14/01/2025 - 09:31h

Depois de escolhido o hardware (as máquinas), monte o cluster fisicamente e depois instale e configure os sistemas.
Somente depois faça a escolha das bibliotecas (MPI, Lapack, Blas, etc) e essas bibliotecas devem se adequar aos programas que você utilizará para a execução desses algoritmos.
A escolha do hardware de rede é importantíssima (placas de rede, switch, cabos, etc), devem ser de boa qualidade. O cabeamento deve ser todo ele no mesmo padrão.

Mas veja bem, as bibliotecas a serem utilizadas dependem dos programas que você usará no cluster.
Eu utilizei a MPICH na época, mas de repente para você seja mais aconselhável utilizar a OpenMPI, ou outra. Isso depende dos programas que você rodará no cluster, ou seja, qual a finalidade do cluster, quais programas rodarão no cluster.

Nas referências da página 'Conclusão' do artigo abaixo estão alguns links que você pode utilizar.
https://www.vivaolinux.com.br/artigo/Montagem-de-Cluster?pagina=1

Testei os links e todos estão funcionando, com exceção do Siesta que agora está nesse link:
https://siesta-project.org/siesta/


_________________________________________________________
Always listen the Buck!
Enquanto o cursor estiver pulsando, há vida!

lucazzbr
(usa Outra)

Enviado em 21/01/2025 - 14:12h

Pessoal, tentei adaptar os passos para o Debian 12 mas não tive muito sucesso. Recomendam que eu instale o Debian 7 que é a mesma versão do artigo, ou tem alguma falha muito grave nessa versão? Já baixei a ISO e to com o pendrive pronto pra fazer as instalações.

Desde já agradeço a todos.

danniel-lara
(usa Fedora)

Enviado em 21/01/2025 - 16:07h

Debian 7 é muito antigo e não tem mais suporte

Carlos_Cunha
(usa Linux Mint)

Enviado em 21/01/2025 - 16:20h

Claramente vc não leu ou não entendeu o meu comentario anterior, pq se não não iria quere instalar um sistema antigo sem suporte a 9 anos....
Cada um cada mesmo.

#-------------------------------------------------------------------------------------#
"Falar é fácil, me mostre o código." - Linus Torvalds
#-------------------------------------------------------------------------------------#

lucazzbr
(usa Outra)

Enviado em 21/01/2025 - 17:13h

Eu sei que não tenho o suficiente pra envolver outras pessoas, mas eu tenho que começar de algum lugar.
Eu li o seu comentário, fica tranquilo.

lucazzbr
(usa Outra)

Enviado em 21/01/2025 - 17:16h

Buck eu sei que pode parecer querer as coisas facil d+, mas você não poderia atualizar o artigo com o Debian 12?
Vai ser bom pra muita gente.... vamos lá amigão faz um novo artigo pra gente.