Montagem de Cluster

[1] Comentário enviado por danniel-lara em 08/11/2013 - 08:06h:

Parabéns pelo Artigo

[4] Comentário enviado por micnet em 08/11/2013 - 12:22h:

Muito Bom Amigo! Parabéns!!

[5] Comentário enviado por suxfuuu em 08/11/2013 - 13:41h:

Nossa show de bola parabéns!

[8] Comentário enviado por adrianoh2 em 09/11/2013 - 19:45h:

Material muito bom, e um excelente teste.
Pergunta: Você conseguiu fazer uma avaliação do consumo de energia com o processamento e em espera?
Seria interessante ter uma noção de quanto de energia está sendo consumida.
O legal também, é que o nobreak que você escolheu, se não me engano tem gerenciamento (horrível no linux) porém, um ponto de partida de avaliação de consumo.
Tenho um aqui do SMS, porém difícil de verificar com linux, mesmo com USB.
O aquecimento também é um baita problema com tantas máquinas... rs...

[9] Comentário enviado por MarcosLnx em 09/11/2013 - 23:55h:

Muito bom o material, parabéns...

[10] Comentário enviado por albfneto em 10/11/2013 - 10:33h:

o Artigo é excelente, favoritado.
uso Modelagem Molecular na Faculdade

[14] Comentário enviado por izaias em 10/11/2013 - 17:48h:

Não sou da área, mas tenho que postar meu elogio.

Artigo de alto nível.

[16] Comentário enviado por sayrus em 10/11/2013 - 21:01h:

Esse material é raro...já havia feito varias pesquisas mas sem sucesso,e o que tinha era muito velho.
Agora os caras estão fazendo com PS3 por conta do processador.

http://g1.globo.com/Noticias/Tecnologia/0,,MUL146410-6174,00-UNICAMP+USA+PLAYSTATION+PARA+REALIZAR+P...

Valeuu"

[18] Comentário enviado por julio_hoffimann em 12/11/2013 - 00:08h:

Parabéns, ótimo artigo.

Favoritos.

[21] Comentário enviado por silvafarol2 em 24/01/2014 - 15:38h:

OLá, boa tarde!
está de parabéns, bom eu vou fazer o projeto final um cluster , mas ainda estou estudando esse assunto, mas no momento preciso fazer um trabalho de avaliação para montar um cluster HPC
e configurar um pequeno cluster com Linux para execução de algoritmos paralelos (por ex. O caso do Laboratório de Metrologia de Nêutrons), se puder me passar algumas dicas por onde eu começo eu agradeço...

[23] Comentário enviado por Damonff em 21/02/2014 - 23:00h:

Olá,

alguém pode mim ensinar como submeter um cálculo no siesta, por exemplo, quero rodar h2o, como devo fazer?

[24] Comentário enviado por nqk18469 em 22/02/2014 - 09:21h:

Buckminster,
Valew pelo artigo. Muito Boooom !!!
Gostei mais ainda por ter sido feito com o Debian.

Faz tempo que tava querendo algo um pouco mais explicado sobre o assunto e qdo tiver um pouco mais de tempo vou tentar a instalacao na pratica. Nos ultimos meses, nem sequer tenho tido tempo de sentar na frente do computador, quanto mais pensar em algo que vai consumir um bom tempo para realizar.

Vc por caso nao teria alguma referencia de leitura (preferencialmente disponivel na internet) para instalar os nodes sem os HDs (diskless) ?

Tava planejando algo com 6 a 12 Xeons L5420.

Bem... como eh algo que sempre quis tentar montar,
pode ser que demore um pouco... mas um dia concluo... rsss

[26] Comentário enviado por Buckminster em 22/02/2014 - 12:01h:

http://www.eelvex.net/administration/diskless-cluster-on-debian-installation-log/

http://jablonskis.org/2011/howto-to-build-a-diskless-linux-cluster/index.html

http://www.google.com.br/url?sa=t&rct=j&q=&esrc=s&source=web&cd=4&ved=0CFAQF...

[28] Comentário enviado por rudregues em 31/03/2014 - 01:00h:

Primeiramente meus parabéns por este excelente artigo!

- Vamos às dúvidas:
Na prática, como é feita a conexão física dos cabos?
Eu conecto o servidor num roteador e conecto os nós nesse roteador?

[bold]# vim /etc/exports[/bold]

Coloque o conteúdo no final:

/home/kluster 192.168.1.0/24(rw,all_squash,subtree_check,anonuid=150,anongid=100)

/opt 192.168.1.0/24(rw,all_squash,subtree_check)

/usr/local 192.168.1.0/24(rw,all_squash,subtree_check) 

Deve ir o endereço da rede.
Salve e saia.

Veja bem, as pastas colocadas ali serão as pastas a serem compartilhadas pelo servidor com as outras máquinas do cluster. Então, todo e qualquer arquivo que deverá ser utilizado pelo cluster durante a execução de um programa deve ser colocado nesta mesma pasta.

/*
********************************************************************
Example 26 (gauss_elimination.c)

Objective : To solve the system of Linear Equations
using Gaussian Elimination without
pivoting on 'p' processors.

Input : Read files (mdatgaus.inp) for Matrix A
and (vdatgaus.inp) for Vector b

Output : The solution of matrix system of linear
equations Ax=b on processor 0.

Description : Input matrix is stored in n by n format.
Columnwise cyclic distribution of input
matrix is used for partitioning of the
matrix.

Necessary conditions : Number of Processes should be less than
or equal to 8.Matrix size for Matrix A
and vector size for vector b should be
equally striped, that is Matrix size and
Vector Size should be divisible by Number
of processes used.

********************************************************************
*/

#include <stdio.h>
#include <assert.h>
#include <mpi.h>

main(int argc, char** argv) {

/* .......Variables Initialisation ......*/
MPI_Status status;
int n_size, NoofRows_Bloc, NoofRows, NoofCols;
int Numprocs, MyRank, Root = 0;
int irow, jrow, icol, index, ColofPivot, neigh_proc;

double **Matrix_A, *Input_A, *Input_B, *ARecv, *BRecv;
double *Output, Pivot;

double *X_buffer, *Y_buffer;
double *Buffer_Pivot, *Buffer_bksub;
double tmp;
FILE *fp;

/* ........MPI Initialisation .......*/
MPI_Init(&argc, &argv);
MPI_Comm_rank(MPI_COMM_WORLD, &MyRank);
MPI_Comm_size(MPI_COMM_WORLD, &Numprocs);

/* .......Read the Input file ......*/
if(MyRank == 0) {

if ((fp = fopen ("./data/mdatgaus.inp", "r")) == NULL) {
printf("Can't open input matrix file");
exit(-1);
}
fscanf(fp, "%d %d", &NoofRows,&NoofCols);
n_size=NoofRows;

/* ...Allocate memory and read data .....*/
Matrix_A = (double **) malloc(n_size*sizeof(double *));

for(irow = 0; irow < n_size; irow++){
Matrix_A[irow] = (double *) malloc(n_size * sizeof(double));
for(icol = 0; icol < n_size; icol++)
fscanf(fp, "%lf", &Matrix_A[irow][icol]);
}
fclose(fp);

if ((fp = fopen ("./data/vdatgaus.inp", "r")) == NULL){
printf("Can't open input vector file");
exit(-1);
}

fscanf(fp, "%d", &NoofRows);
n_size=NoofRows;
Input_B = (double *)malloc(n_size*sizeof(double));
for (irow = 0; irow<n_size; irow++)
fscanf(fp, "%lf",&Input_B[irow]);
fclose(fp);

/* ...Convert Matrix_A into 1-D array Input_A ......*/
Input_A = (double *)malloc(n_size*n_size*sizeof(double));
index = 0;
for(irow=0; irow<n_size; irow++)
for(icol=0; icol<n_size; icol++)
Input_A[index++] = Matrix_A[irow][icol];

}

MPI_Bcast(&NoofRows, 1, MPI_INT, Root, MPI_COMM_WORLD);
MPI_Bcast(&NoofCols, 1, MPI_INT, Root, MPI_COMM_WORLD);

if(NoofRows != NoofCols) {
MPI_Finalize();
if(MyRank == 0){
printf("Input Matrix Should Be Square Matrix ..... \n");
}
exit(-1);
}

/* .... Broad cast the size of the matrix to all ....*/
MPI_Bcast(&n_size, 1, MPI_INT, 0, MPI_COMM_WORLD);
if(n_size % Numprocs != 0) {
MPI_Finalize();
if(MyRank == 0){
printf("Matrix Can not be Striped Evenly ....No of processors (p) should divide the size of the Input matrix (n)\n");
}
exit(-1);
}

NoofRows_Bloc = n_size/Numprocs;
/*......Memory of input matrix and vector on each process .....*/
ARecv = (double *) malloc (NoofRows_Bloc * n_size* sizeof(double));
BRecv = (double *) malloc (NoofRows_Bloc * sizeof(double));

/*......Scatter the Input Data to all process ......*/
MPI_Scatter (Input_A, NoofRows_Bloc * n_size, MPI_DOUBLE, ARecv, NoofRows_Bloc * n_size,
MPI_DOUBLE, 0, MPI_COMM_WORLD);

MPI_Scatter (Input_B, NoofRows_Bloc, MPI_DOUBLE, BRecv, NoofRows_Bloc, MPI_DOUBLE, 0,
MPI_COMM_WORLD);

/* ....Memory allocation of ray Buffer_Pivot .....*/
Buffer_Pivot = (double *) malloc ((NoofRows_Bloc + 1 + n_size * NoofRows_Bloc) * sizeof(double));

/* Receive data from all processors (i=0 to k-1) above my processor (k).... */
for(neigh_proc = 0; neigh_proc < MyRank; neigh_proc++) {
MPI_Recv(Buffer_Pivot, NoofRows_Bloc * n_size + 1 + NoofRows_Bloc, MPI_DOUBLE, neigh_proc,
neigh_proc, MPI_COMM_WORLD, &status);

for(irow = 0; irow < NoofRows_Bloc; irow++){
/* .... Buffer_Pivot[0] : locate the rank of the processor received */
/* .... Index is used to reduce the matrix to traingular matrix */
/* .... Buffer_Pivot[0] is used to determine the starting value of
pivot in each row of the matrix, on each processor */

ColofPivot = ((int) Buffer_Pivot[0]) * NoofRows_Bloc + irow;
for (jrow = 0; jrow < NoofRows_Bloc; jrow++){
index = jrow*n_size;
tmp = ARecv[index + ColofPivot];
for (icol = ColofPivot; icol < n_size; icol++)
ARecv[index + icol] -= tmp * Buffer_Pivot[irow*n_size+icol+1+NoofRows_Bloc];
BRecv[jrow] -= tmp * Buffer_Pivot[1+irow];
ARecv[index + ColofPivot] = 0.0;
}
}
}
/* ......Buffer_bksuborary buffer allocation ....*/
Y_buffer = (double *) malloc (NoofRows_Bloc * sizeof(double));

/* ....Modification of row entries on each processor ...*/
/* ....Division by pivot value and modification ...*/

for(irow = 0; irow < NoofRows_Bloc; irow++){
ColofPivot = MyRank * NoofRows_Bloc + irow;
index = irow*n_size;

Pivot = ARecv[index + ColofPivot];
assert(Pivot!= 0);
for (icol = ColofPivot; icol < n_size; icol++){
ARecv[index + icol] = ARecv[index + icol]/Pivot;
Buffer_Pivot[index + icol + 1 + NoofRows_Bloc] = ARecv[index + icol];
}
Y_buffer[irow] = BRecv[irow] / Pivot;
Buffer_Pivot[irow+1] = Y_buffer[irow];

for (jrow = irow+1; jrow<NoofRows_Bloc; jrow++) {
tmp = ARecv[jrow*n_size + ColofPivot];
for (icol = ColofPivot+1; icol < n_size; icol++)
ARecv[jrow*n_size+icol] -= tmp * Buffer_Pivot[index + icol + 1 + NoofRows_Bloc];
BRecv[jrow] -= tmp * Y_buffer[irow];
ARecv[jrow*n_size+irow] = 0;
}
}


/*....Send data to all processors below the current processors */
for (neigh_proc = MyRank+1; neigh_proc < Numprocs; neigh_proc++) {
/* ...... Rank is stored in first location of Buffer_Pivot and
this is used in reduction to triangular form ....*/
Buffer_Pivot[0] = (double) MyRank;
MPI_Send(Buffer_Pivot, NoofRows_Bloc*n_size+1+NoofRows_Bloc, MPI_DOUBLE, neigh_proc,
MyRank, MPI_COMM_WORLD);
}

/*.... Back Substitution starts from here ........*/

/*.... Receive from all higher processors ......*/
Buffer_bksub = (double *) malloc (NoofRows_Bloc * 2 * sizeof(double));
X_buffer = (double *) malloc (NoofRows_Bloc * sizeof(double));

for (neigh_proc = MyRank+1; neigh_proc<Numprocs; ++neigh_proc) {
MPI_Recv(Buffer_bksub, 2*NoofRows_Bloc, MPI_DOUBLE, neigh_proc, neigh_proc,
MPI_COMM_WORLD,&status);
for (irow = NoofRows_Bloc-1; irow >= 0; irow--) {
for (icol = NoofRows_Bloc-1;icol >= 0; icol--) {
/* ... Pick up starting Index .....*/
index = (int) Buffer_bksub[icol];
Y_buffer[irow] -= Buffer_bksub[NoofRows_Bloc+icol] * ARecv[irow*n_size+index];
}
}
}

for (irow = NoofRows_Bloc-1; irow >= 0; irow--) {
index = MyRank*NoofRows_Bloc+irow;
Buffer_bksub[irow] = (double) index;
Buffer_bksub[NoofRows_Bloc+irow] = X_buffer[irow] = Y_buffer[irow];
for (jrow = irow-1; jrow >= 0; jrow--)
Y_buffer[jrow] -= X_buffer[irow] * ARecv[jrow*n_size + index];
}


/*.... Send to all lower processes...*/
for (neigh_proc = 0; neigh_proc < MyRank; neigh_proc++)
MPI_Send(Buffer_bksub, 2*NoofRows_Bloc, MPI_DOUBLE, neigh_proc, MyRank, MPI_COMM_WORLD);

/*.... Gather the result on the processor 0 ....*/
Output = (double *) malloc (n_size * sizeof(double));
MPI_Gather(X_buffer, NoofRows_Bloc, MPI_DOUBLE, Output, NoofRows_Bloc, MPI_DOUBLE, 0, MPI_COMM_WORLD);

/* .......Output vector .....*/

if (MyRank == 0) {

printf ("\n");
printf(" ------------------------------------------- \n");
printf("Results of Gaussian Elimination Method on processor %d: \n", MyRank);
printf ("\n");

printf("Matrix Input_A \n");
printf ("\n");
for (irow = 0; irow < n_size; irow++) {
for (icol = 0; icol < n_size; icol++)
printf("%.3lf ", Matrix_A[irow][icol]);
printf("\n");
}
printf ("\n");
printf("Matrix Input_B \n");
printf("\n");
for (irow = 0; irow < n_size; irow++) {
printf("%.3lf\n", Input_B[irow]);
}
printf ("\n");
printf("Solution vector \n");
printf ("\n");
for(irow = 0; irow < n_size; irow++)
printf("%.3lf\n",Output[irow]);
printf(" --------------------------------------------------- \n");
}

MPI_Finalize();
}

[33] Comentário enviado por ewerttonbd2 em 04/05/2014 - 16:39h:

Parabéns pelo tutorial.
Estou com um problema. Olha se sabe qual o erro.

root@servidor:/usr/src/pvfs-2.8.2# /opt/pvfs2/bin/pvfs2-ping -m /mnt/pvfs2
/opt/pvfs2/bin/pvfs2-ping: error while loading shared libraries: libpvfs2.so: cannot open shared object file: No such file or directory

segui os passos e nao sei oque pode ser isso.

[35] Comentário enviado por willcamarg em 27/05/2014 - 13:04h:

Bom dia!
Sabe me dizer se tem muita diferença no centos.

[36] Comentário enviado por henriqueuclides em 28/05/2014 - 14:51h:

primeiramente obrigado pelo artigo, gostei muito

mas estou com um problema, quero fazer esse cluster semelhante ao seu, e estou com problema pra rodar programas proprietarios, o problema esta na hora de executar algum deles nas maquinas como user, fiz a instalação como su e dei todas as permissoes pro user poder executar o programa, mas mesmo assim diz que nao tenho permissoes. Esse mesmo procedimento funciona pra OpenSuse e Ubuntu, mas para Debian nao.

[39] Comentário enviado por henriqueuclides em 30/05/2014 - 13:41h:

estamos instalando o GAUSSIAN09 e o MOLPRO em maquinas com Debian como super usuario, na instalação damos permissão para o usuario tambem poder executar esses programas, definimos o caminho no .profile do usuario, mas quando entramos como usuario diz que nao temos permissão.

[40] Comentário enviado por ricardo987 em 18/06/2014 - 19:50h:

Olá excelente Artigo Buckminster, eu tenho de criar um cluster mas com o ubuntu 12.04 você ou algum outro membro sabe como eu poderia fazer?

[44] Comentário enviado por thejack em 27/08/2014 - 08:52h:

Cara excelente artigo.
Atento ao tópicos e dicas.
Não executei mas você tem prazer em explicar, coisa rara hoje em dia.
Parabens!!

[45] Comentário enviado por ewerttonbd2 em 09/09/2014 - 12:07h:

Na parte do pvfs2, esse erro aparece, alguem saber o motivo?

Testando:

# /opt/pvfs2/bin/pvfs2-ping -m /mnt/pvfs2


(3) Initializing each file system found in tab file: /etc/fstab...

PVFS2 servers: tcp://servidor:3334
Storage name: pvfs2-fs
Local mount point: /mnt/pvfs2
[E 12:03:13.439542] Error: BMI_sockio_connect_sock: (servidoor):: Unknown host
[E 12:03:13.439631] Send immediately failed: Unknown host
[E 12:03:13.439754] Warning: msgpair failed to tcp://no01:3334, will retry: Connection refused
[E 12:03:13.439774] Warning: msgpair failed to tcp://no02:3334, will retry: Connection refused
[E 12:03:13.439788] Warning: msgpair failed to tcp://no03:3334, will retry: Connection refused
[E 12:03:13.439802] Warning: msgpair failed to tcp://no04:3334, will retry: Connection refused
[E 12:03:13.439815] Warning: msgpair failed to tcp://servidoor:3334, will retry: Unknown host
/mnt/pvfs2: Ok

[48] Comentário enviado por cicerocarlos em 13/11/2014 - 01:32h:

Prezado
Tenho um cluster com suse server para processamento compartilhado, entretanto, para análise que precisa de memória ram não ocorre compartilhamento de mémoria ram, sendo usada somente a memória do nó de execução do programa (velvet). Existe como configurar para compartilhar memória?
Att,
Cícero

[50] Comentário enviado por cicerocarlos em 28/11/2014 - 01:17h:

Estou usando a biblioteca mpich e mudei para o sistema ubuntu. O cluster fuciona muito bem, entretanto, não há compartilhamento de memória. Tenho que mudar a arquitetura do cluster ou posso configurar o mpich para compartilhar memória?

[52] Comentário enviado por cicerocarlos em 28/11/2014 - 09:42h

Eu instalei o mpich usando o apt-get do ubuntu e não criei as configurações do ./configure foram realizada pelo instalador. Eu descobri que não há compartilhamento de memória usando o top e monitorando o uso de memória, entretanto, o melhor parâmetro foi calcular e verificar que o velvet só analisa os reads (leituras de DNA) quando atinge o máximo de memória ram do nó. Após usar toda a memória, o processo paralisa o nó fica extremamente lento. Tem somo configura o --enable-shared? ou teria que construir um cluster na plataforma NUMA (pacote numactl)

[53] Comentário enviado por bmarquesm em 07/02/2015 - 13:22h

Show de bola Buckminster, tá meio que de praxe elogiar, mas parabéns pelo artigo, rs.

[56] Comentário enviado por linus black em 02/01/2016 - 23:08h

boa noite, não sei se entendia a definição de cluster direito , mas porque os back-end não são iguais nas instalações?

[58] Comentário enviado por nguiovani em 09/10/2016 - 17:28h

Por favor me ajudem !
tentei dois jeitos
antes eu testei as chaves rsa
root@servidor: ssh 192.168.1.101
root@192.168.1.101's passoword:*****
root@no01~#: exit

OK !

ai quando executo :
root@servidor:/usr/src/mpich-3.0.4/examples# mpirun -hostfile /opt/hostfile -n 7 /usr/src/mpich-3.0.4/examples/cpi
Permission denied, please try again.
Permission denied, please try again.
Permission denied (publickey,password).


root@servidor:/usr/src/mpich-3.0.4/examples# mpirun 192.168.1.101 -n 7 /usr/src/mpich-3.0.4/examples/cpi
[proxy:0:0@servidor] HYDU_create_process (./utils/launch/launch.c:75): execvp error on file root@192.168.1.101 (No such file or directory)

===================================================================================
= BAD TERMINATION OF ONE OF YOUR APPLICATION PROCESSES
= EXIT CODE: 255
= CLEANING UP REMAINING PROCESSES
= YOU CAN IGNORE THE BELOW CLEANUP MESSAGES
===================================================================================

por favor URGENTE

[60] Comentário enviado por schileider em 02/12/2016 - 23:45h

Olá Buckminster!

Parabéns pelo material, estou fazendo alguns testes, porém surgir esse erro abaixo, o arquivo está certo?

# vim /etc/bash.bashrc
# this file has to be sourced in /etc/profile.
if [ "$PS1" ] ; then
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;mkdir -m 0700 /dev/cgroup/cpu/user/$$
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;echo $$ &gt; /dev/cgroup/cpu/user/$$/tasks
fi

Está apresentando o erro abaixo:
-bash: $'\302\240\302\240\302\240\302\240\302\240\302\240\302\240\302\240mkdir': comando não encontrado
-bash: /dev/cgroup/cpu/user/2395/tasks: Arquivo ou diretório não encontrado