Grade Computacional com OurGrid no Debian Lenny

renato_smelo

Grades Computacionais (Grid Computing) para computação de alto desempenho, descrição do middleware de grade OurGrid e dos passos percorridos para a instalação deste no Debian 5. Lembrando que são relatos das experiências obtidas por mim durante a instalação.

[ Hits: 50.623 ]

Por: Renato Melo em 21/02/2011 | Blog: http://renatomelo.blog.br

0 0

Denuncie Favoritos Indicar Impressora

Testando

Adicionando uma aplicação:

./broker addjob examples/addJob/simplejob3.jdf
$ ./broker status

Broker status

Uptime: 33m 27s

Configuration:
   XMPP login name: broker
   XMPP server name: 192.168.7.30

Peers (1):

   Colider => peer1@192.168.7.30 [ LOGGED ]

Jobs (6):

   Job 1: SimpleJob [FINISHED]
      Task 1: [FINISHED]
         Replica 1: [FAILED] - assigned to worker1@192.168.7.30
         Replica 2: [FINISHED] - assigned to worker2@192.168.7.30

   Job 2: SimpleJob2 [FINISHED]
      Task 1: [FINISHED]
         Replica 1: [FINISHED] - assigned to worker3@192.168.7.30
      Task 2: [FINISHED]
         Replica 1: [FINISHED] - assigned to worker2@192.168.7.30

   Job 3: SimpleJob3 [FINISHED]
      Task 1: [FINISHED]
         Replica 1: [FINISHED] - assigned to worker1@192.168.7.30

   Job 4: SimpleJob4 [FINISHED]
      Task 1: [FINISHED]
         Replica 1: [FINISHED] - assigned to worker2@192.168.7.30

   Job 5: SimpleJob5 [RUNNING]
      Task 1: [FINISHED]
         Replica 1: [FINISHED] - assigned to worker2@192.168.7.30
      Task 2: [RUNNING]
         Replica 1: [RUNNING] - assigned to worker1@192.168.7.30

   Job 6: SleepJob [RUNNING]
      Task 1: [RUNNING]
         Replica 1: [RUNNING] - assigned to worker2@192.168.7.30

Command 'broker status' was successfully executed

Esse é o estado do broker, depois de adicionados 6 jobs, veja que alguns foram finalizados e outros encontram-se rodando ainda, as tarefas (tasks) e réplicas ficaram divididas entre os workers.

Enquanto todas as aplicações estão rodando, vamos dar uma olhada nos componentes do ourgrid, o peer apresenta este status, nesse momento duas maquinas encontram-se em uso, enquanto uma já está disponível para outros trabalhos.

./peer status

Peer Status

Uptime: 56m 1s

Configuration:
   Version: 4.2.1-build20100705
   Configuration directory: /home/cluster/peer
   XMPP login name: peer1
   XMPP server name: 192.168.7.30
   Label: MandaChuva.colider.unemat.br
   Join community: no

Local Workers:
   worker1@192.168.7.30[ IN_USE ]    broker@192.168.7.30
   worker2@192.168.7.30[ IN_USE ]    broker@192.168.7.30
   worker3@192.168.7.30[ IDLE ]

Remote Workers:
   NONE

Local Consumers:
   broker@192.168.7.30

Remote Consumers:
   NONE

Network of Favors Balances:
   NO DATA AVAILABLE

Command 'peer status' was successfully executed

Os mostram que estão alocados por um broker.

./worker status

Worker Status

Uptime: 8h 49m 43s

Configuration:
   Version: 4.2.1-build20100705
   Configuration directory: .
   XMPP login name: worker2
   XMPP server name: 192.168.7.30
   Idleness detection enabled: no
   Idleness detection time: 1200
   Playpen root directory: /tmp
   Storage directory: .brokerstorage

Status: ALLOCATED_FOR_BROKER
Master peer OID: peer1@192.168.7.30/PEER/WORKER_MANAGEMENT_CLIENT/8002564296206234994
Current playpen dir: /tmp/worker-1449363384834593491
Current storage dir: /home/cluster/worker/.brokerstorage/95ce1b95f97ace3c6ad5948b1266be6

Command 'worker status' was successfully executed.

Pronto, agora suas máquinas estão preparadas para trabalharem em conjunto, aproveite.

Conclusão

A procura por uma alternativa mais eficiente e barata para o processamento de grandes quantidades de dados, vê em sistemas paralelos e distribuídos uma boa alternativa para resolução de seus problemas, tais sistemas podem ser grandes máquinas paralelas, clusters e grids computacionais.

Foi mostrado neste artigo que o Ourgrid é uma alternativa eficiente para grades, além de ser uma tecnologia brasileira, encontra-se em processo de crescimento e constante desenvolvimento.

Portanto, se tratando de uma ferramenta que permite aproveitar processadores distantes geograficamente, fica evidente que é extremamente viável, financeiramente falando, já que só se faz necessário alguns PCs comuns que podem ser utilizados normalmente, e oferecendo recursos à comunidade, para que se possa usufruir de demais recursos.

Página anterior

Páginas do artigo

   1. Introdução
   2. Ourgrid
   3. Preparando o ambiente de instalação
   4. Baixando e instalando do XMPP server
   5. OurGrid Peer
   6. OurGrid worker
   7. OurGrid Broker
   8. Testando

Outros artigos deste autor

Terminais leves: Analisando as tecnologias XDMCP, NXSEVER E LTSP

Leitura recomendada

Criar CD de instalação a partir do HD

Afrescalhando o Slackware

Basic Linux: Como instalar no HD

Interface Gráfica e Ambiente Integrado p/ Free Pascal

Evite desgaste diário de seus CDs

Comentários

[1] Comentário enviado por piquen0 em 21/02/2011 - 15:23h

Muito bom o artigo, Parabéns!!!

0 0

[2] Comentário enviado por diegomatias em 21/02/2011 - 16:53h

Ola renato gostaria de lhe os Parabéns, este é um artigo realmente bacana que com certeza vai ajudar muitos leitores amantes dos sistemas distribuídos a montar suas próprias grades isso por que o Ourgrid surgiu justamente para isso facilitar a montagem visto que em outros ambientes esse fator torna-se muito complexo desde já meus parabéns...

0 0

[3] Comentário enviado por julio_hoffimann em 21/02/2011 - 19:53h

Oi Renato, parabéns!

Também trabalho com sistemas distribuidos, só que uso MPI. Fiquei curioso com o conceito de bag-of-task, da forma como foi definido no artigo, conheço por task farming. Você saberia explicar a diferença? Procurei as referências que você citou ao longo do texto, mas não encontrei.

Abraço!

0 0

[4] Comentário enviado por renato_smelo em 21/02/2011 - 21:10h

Olá julio_hoffimann,

Antes de tudo eu quero pedir perdão por ter esquecido de colocar as referências bibliograficas que usei, embora eu tenha feito algumas citações esqueci de adicionar o principal no artigo, mas aqui estão.

---------------------------------------------------------------------------------------------------------------

REFERÊNCIAS BIBLIOGRAFICAS

ANDRADE, N., COSTA, L., GERMÓGLIO, G., CIRNE, W. Peer-to-peer grid computing with the OurGrid Community.

CIRNE, W., BRASILEIRO, F. ANDRADE, N., COSTA, L. B. ANDRADE, A., NOVAIS, R., MOWBRAY, M. Labs of the World, Unite!!!, 2006.

DANTAS, Mario, Computação Distribuída de Alto Desempenho: Redes, Clusters e Grids Computacionais. Ed. Axcel Books do Brasil Ltda. 2005.

FREITAS, André Lage, FREITAS, Amadeu A., Greve, Fabíola, LiveOurGrid Estimulando o Uso de Grades Computacionais Através da e Experimentação. UFBA, 2006.

GRID COMPUTING, Grid Compoting Info Centre. Disponível em: <http://www.gridcomputing.com/> Acesso: 02 de outubro de 2010.

OURGRID, OurGrid. Disponível em: <http://www.ourgrid.org/> Acesso em: 02 de outubro de 2010.

SILVA, Benevid Felix da, TMRorR : um novo algoritmo de escalonamento para o OurGrid que combina o uso de informação e replicação Benevid Felix da Silva. – Porto Alegre, 2009.

SILVA, Hélio Antonio Miranda da, Implementação de um Mecanismo de Recuperação por Retorno para a ferramenta OurGrid, Porto Alegre: Programa de Pós-Graduação em Computação, 2007.

---------------------------------------------------------------------------------------------------------------

e respondendo a sua pergunta não sei te dizer a diferença entre BoT e task farming porque não conheço esta ultima, mas posso procurar e responder depois.

Aproveitando o bonde, Você desenvolve aplicações distribuídas? se sim, estou precisando de material a respeito ficaria muito feliz se você pudesse me ajudar com algum material.

Grato.

0 0

[5] Comentário enviado por julio_hoffimann em 22/02/2011 - 10:27h

Oi Renato! :-)

Não tem problemas, se você avisar ao Fábio, ele edita o artigo e coloca as referências. ;-) Vou procurar saber da diferença, se é que tem, daqueles dois termos. Qualquer coisa a gente se comunica.

Os programas que faço são mais ligados a engenharia, como eu disse uso MPI (Message Passing Interface), não sei se é de seu interesse, mas tem muitos livros clássicos sobre o assunto. O mais famoso talvez seja este http://www.amazon.com/Parallel-Programming-MPI-Peter-Pacheco/dp/1558603395/ref=sr_1_8?ie=UTF8&qid=12... Já li e gostei, mas sou novo nesse mundo e talvez existam livros bem melhores.

Abraço!

0 0

[6] Comentário enviado por renato_smelo em 22/02/2011 - 11:36h

Obrigado julio_hoffimann,

também sou novo no mundo de programação paralela e seguirei sua dica quanto ao livro, estou pensando em desenvolver algo voltado a tecnologias e-Gov ou renderização de imagens, mas ainda é tudo teoria.

Abraços.

0 0

[7] Comentário enviado por teafelix em 22/02/2011 - 14:55h

Parabéns pelo artigo Renato. Sobre Bag-of-Task e sua diferença entre Task Farming[1], no meu ponto de vista são iguais[2]. A diferença está talvez na arquitetura do sistema em que se situam. As bag-of-task, conceito utilizado não só pelo ourgrid, mas também presente em alguns outros trabalhos, são tarefas independentes pertencentes a um job, onde não existe dependência do fluxo de execução entre elas, o que no meu entendimento é o mesmo funcionamento do task-farming.

Referências:

[1] Link:http://www.ichec.ie/support/documentation/task_farming.php
[2] Link:http://www.google.com.br/url?sa=t&source=web&cd=2&ved=0CCcQFjAB&url=http%3A%2F%2Fwww.netlib.org%2Futk%2Fpeople%2FJackDongarra%2FPAPERS%2Fnetsolve-blackberry98.ps&rct=j&q=Adaptive%20Scheduling%20for%20Task%20Farming%20with%20Grid%20Middleware%20&ei=SfdjTfLXIcrcgQestJmnAg&usg=AFQjCNGbLxGmljRgd6rga3h_tidQsOfyWg&cad=rja

Benevid :z

0 0

[8] Comentário enviado por renato_smelo em 23/02/2011 - 09:55h

Valeu teafelix,

Já foi uma boa ajuda, concordo com você os conceitos são bem parecidos mesmo.
Até mais!

0 0

[9] Comentário enviado por luizvieira em 23/02/2011 - 10:16h

Excelente artigo!

No meu caso isso seria excelente para criação de rainbow tables e quebra de senha :-)

[ ]'s

0 0

[10] Comentário enviado por Thiagolacosta em 20/04/2012 - 09:10h

aqui nao funciona!! fica dando erro ao ver o status!

0 0

[11] Comentário enviado por renato_smelo em 20/04/2012 - 09:48h

Cola o erro aí, talvez eu possa ajudar.

0 0

[12] Comentário enviado por Thiagolacosta em 22/04/2012 - 17:28h

conseguiii.
era o erro,
a solução foi alterar o ip e o nome dos ervidor no /etc/hosts

0 0