Grade Computacional com OurGrid no Debian Lenny

Grades Computacionais (Grid Computing) para computação de alto desempenho, descrição do middleware de grade OurGrid e dos passos percorridos para a instalação deste no Debian 5. Lembrando que são relatos das experiências obtidas por mim durante a instalação.

[ Hits: 50.627 ]

Por: Renato Melo em 21/02/2011 | Blog: http://renatomelo.blog.br


OurGrid worker



Lembrando que os workers serão os computadores responsáveis pela execução das tarefas, então podem ser vários computadores da rede.

Seguindo os mesmos passos utilizados para a configuração do peer, crie um usuário para uso de cada work no openfire. Neste caso o usuário é work1, salve as configurações.

Caso queira procurar a ultima versão:

ou:

wget -c http://www.ourgrid.org/ourgrid/dist/4/4.2.1/ourgrid-4.2.1-worker.zip

Descompacte:

unzip worker-4.x.y.zip

Entre no diretório:

cd worker-4.x.y/

Edite o arquivo de configurações:

vim worker.properties

Em 'commune.xmpp.username=worker1' lembrar que worker1 é o nome do usuário no openfire. Em 'commune.xmpp.password=senha' a senha de worker1. Na linha 'worker.peer.publickey= ' é onde é copiada a chave publica do peer, presente no aquivo peer.properties na linha commune.publickey=. salvar e sair.

Tornar o arquivo worker executável:

chmod +x worker

Iniciar o worker:

./worker start

Verificando o status:

./worker status

Worker Status

Uptime: 2h 56m 23s

Configuration:
   Version: 4.2.1-build20100705
   Configuration directory: .
   XMPP login name: worker1
   XMPP server name: 192.168.7.30
   Idleness detection enabled: no
   Idleness detection time: 1200
   Playpen root directory: /tmp
   Storage directory: .brokerstorage

Status: IDLE
Master peer OID: peer1@192.168.7.30/PEER/WORKER_MANAGEMENT_CLIENT/2196730836315861431
Current playpen dir: /tmp
Current storage dir: .brokerstorage


A saída do comando deve ser parecida com esta, veja que 'Status: IDLE' isso significa que o worker encontra-se disponível.

Saindo do diretório:

cd ..

Entre novamente no diretório do peer:

cd peer/

Pare o peer:

./peer stop

Edite o arquivo example.sdf:

vim example.sdf

workerdefaults :
copyTo : scp $localfile $machine:$remotefile
remExec : ssh -x $machine $command
copyFrom : scp $machine:$remotefile $localfile

worker :
   OS : linux
   servername : 192.168.7.30
   username : worker1

worker :
   OS : linux
   servername : 192.168.7.30
   username : worker2

Deixar os campos servername e username de acordo com a sua rede. Setando os workers apartir do arquivo examples.sdf:

./peer setworkers example.sdf

Inicie o peer novamente:

./peer start

Verificando o status:

./peer status
Peer Status

Uptime: 3h 8m 17s

Configuration:
   Version: 4.2.1-build20100705
   Configuration directory: .
   XMPP login name: peer1
   XMPP server name: 192.168.7.30
   Label: MandaChuva.colider.unemat.br
   Join community: no

Local Workers:
   worker1@192.168.7.30[ IDLE ]    
...

Observe que agora existe um worker disponível na seção 'Local Workers'. Saia do peer e entre novamente no diretório do worker. Pare e inicie novamente o worker e observe a saído do comando:

./worker status
Worker Status

Uptime: 4m 33s

Configuration:
   Version: 4.2.1-build20100705
   Configuration directory: .
   XMPP login name: worker1
   XMPP server name: 192.168.7.30
   Idleness detection enabled: no
   Idleness detection time: 1200
   Playpen root directory: /tmp
   Storage directory: .brokerstorage

Status: IDLE
Master peer OID: peer1@192.168.7.30/PEER/WORKER_MANAGEMENT_CLIENT/2196730836315861431
Current playpen dir: /tmp
Current storage dir: .brokerstorage/


Deve ser algo parecido com o arquivo acima, nele já mostra o peer e a sua localização.

Página anterior     Próxima página

Páginas do artigo
   1. Introdução
   2. Ourgrid
   3. Preparando o ambiente de instalação
   4. Baixando e instalando do XMPP server
   5. OurGrid Peer
   6. OurGrid worker
   7. OurGrid Broker
   8. Testando
Outros artigos deste autor

Terminais leves: Analisando as tecnologias XDMCP, NXSEVER E LTSP

Leitura recomendada

Como usar o Bugzilla do Sabayon

Interface Gráfica e Ambiente Integrado p/ Free Pascal

Crie seu próprio repositório YUM no CentOS 4 e 5

Recebendo notificações do Nagios via Jabber

Falta de padronização no Linux

  
Comentários
[1] Comentário enviado por piquen0 em 21/02/2011 - 15:23h

Muito bom o artigo, Parabéns!!!

[2] Comentário enviado por diegomatias em 21/02/2011 - 16:53h

Ola renato gostaria de lhe os Parabéns, este é um artigo realmente bacana que com certeza vai ajudar muitos leitores amantes dos sistemas distribuídos a montar suas próprias grades isso por que o Ourgrid surgiu justamente para isso facilitar a montagem visto que em outros ambientes esse fator torna-se muito complexo desde já meus parabéns...

[3] Comentário enviado por julio_hoffimann em 21/02/2011 - 19:53h

Oi Renato, parabéns!

Também trabalho com sistemas distribuidos, só que uso MPI. Fiquei curioso com o conceito de bag-of-task, da forma como foi definido no artigo, conheço por task farming. Você saberia explicar a diferença? Procurei as referências que você citou ao longo do texto, mas não encontrei.

Abraço!

[4] Comentário enviado por renato_smelo em 21/02/2011 - 21:10h

Olá julio_hoffimann,

Antes de tudo eu quero pedir perdão por ter esquecido de colocar as referências bibliograficas que usei, embora eu tenha feito algumas citações esqueci de adicionar o principal no artigo, mas aqui estão.


---------------------------------------------------------------------------------------------------------------

REFERÊNCIAS BIBLIOGRAFICAS

ANDRADE, N., COSTA, L., GERMÓGLIO, G., CIRNE, W. Peer-to-peer grid computing with the OurGrid Community.

CIRNE, W., BRASILEIRO, F. ANDRADE, N., COSTA, L. B. ANDRADE, A., NOVAIS, R., MOWBRAY, M. Labs of the World, Unite!!!, 2006.

DANTAS, Mario, Computação Distribuída de Alto Desempenho: Redes, Clusters e Grids Computacionais. Ed. Axcel Books do Brasil Ltda. 2005.

FREITAS, André Lage, FREITAS, Amadeu A., Greve, Fabíola, LiveOurGrid Estimulando o Uso de Grades Computacionais Através da e Experimentação. UFBA, 2006.

GRID COMPUTING, Grid Compoting Info Centre. Disponível em: <http://www.gridcomputing.com/> Acesso: 02 de outubro de 2010.

OURGRID, OurGrid. Disponível em: <http://www.ourgrid.org/> Acesso em: 02 de outubro de 2010.

SILVA, Benevid Felix da, TMRorR : um novo algoritmo de escalonamento para o OurGrid que combina o uso de informação e replicação Benevid Felix da Silva. – Porto Alegre, 2009.

SILVA, Hélio Antonio Miranda da, Implementação de um Mecanismo de Recuperação por Retorno para a ferramenta OurGrid, Porto Alegre: Programa de Pós-Graduação em Computação, 2007.

---------------------------------------------------------------------------------------------------------------

e respondendo a sua pergunta não sei te dizer a diferença entre BoT e task farming porque não conheço esta ultima, mas posso procurar e responder depois.

Aproveitando o bonde, Você desenvolve aplicações distribuídas? se sim, estou precisando de material a respeito ficaria muito feliz se você pudesse me ajudar com algum material.

Grato.

[5] Comentário enviado por julio_hoffimann em 22/02/2011 - 10:27h

Oi Renato! :-)

Não tem problemas, se você avisar ao Fábio, ele edita o artigo e coloca as referências. ;-) Vou procurar saber da diferença, se é que tem, daqueles dois termos. Qualquer coisa a gente se comunica.

Os programas que faço são mais ligados a engenharia, como eu disse uso MPI (Message Passing Interface), não sei se é de seu interesse, mas tem muitos livros clássicos sobre o assunto. O mais famoso talvez seja este http://www.amazon.com/Parallel-Programming-MPI-Peter-Pacheco/dp/1558603395/ref=sr_1_8?ie=UTF8&qid=12... Já li e gostei, mas sou novo nesse mundo e talvez existam livros bem melhores.

Abraço!

[6] Comentário enviado por renato_smelo em 22/02/2011 - 11:36h

Obrigado julio_hoffimann,

também sou novo no mundo de programação paralela e seguirei sua dica quanto ao livro, estou pensando em desenvolver algo voltado a tecnologias e-Gov ou renderização de imagens, mas ainda é tudo teoria.

Abraços.

[7] Comentário enviado por teafelix em 22/02/2011 - 14:55h

Parabéns pelo artigo Renato. Sobre Bag-of-Task e sua diferença entre Task Farming[1], no meu ponto de vista são iguais[2]. A diferença está talvez na arquitetura do sistema em que se situam. As bag-of-task, conceito utilizado não só pelo ourgrid, mas também presente em alguns outros trabalhos, são tarefas independentes pertencentes a um job, onde não existe dependência do fluxo de execução entre elas, o que no meu entendimento é o mesmo funcionamento do task-farming.


Referências:

[1] Link:http://www.ichec.ie/support/documentation/task_farming.php
[2] Link:http://www.google.com.br/url?sa=t&source=web&cd=2&ved=0CCcQFjAB&url=http%3A%2F%2Fwww.netlib.org%2Futk%2Fpeople%2FJackDongarra%2FPAPERS%2Fnetsolve-blackberry98.ps&rct=j&q=Adaptive%20Scheduling%20for%20Task%20Farming%20with%20Grid%20Middleware%20&ei=SfdjTfLXIcrcgQestJmnAg&usg=AFQjCNGbLxGmljRgd6rga3h_tidQsOfyWg&cad=rja

Benevid :z

[8] Comentário enviado por renato_smelo em 23/02/2011 - 09:55h

Valeu teafelix,

Já foi uma boa ajuda, concordo com você os conceitos são bem parecidos mesmo.
Até mais!

[9] Comentário enviado por luizvieira em 23/02/2011 - 10:16h

Excelente artigo!

No meu caso isso seria excelente para criação de rainbow tables e quebra de senha :-)

[ ]'s

[10] Comentário enviado por Thiagolacosta em 20/04/2012 - 09:10h

aqui nao funciona!! fica dando erro ao ver o status!

[11] Comentário enviado por renato_smelo em 20/04/2012 - 09:48h

Cola o erro aí, talvez eu possa ajudar.

[12] Comentário enviado por Thiagolacosta em 22/04/2012 - 17:28h

conseguiii.
era o erro,
a solução foi alterar o ip e o nome dos ervidor no /etc/hosts


Contribuir com comentário




Patrocínio

Site hospedado pelo provedor RedeHost.
Linux banner

Destaques

Artigos

Dicas

Tópicos

Top 10 do mês

Scripts