Neste tópico iremos demonstrar o funcionamento do cluster rodando uma aplicação de exemplo contida dentro do próprio pacote do hadoop chamada wordcount, que realiza simplesmente a contagem do número de palavras em um arquivo.

Para isso baixe o arquivo txt no link abaixo. Depois de descompactado ele possuíra 160 MB.

• https://dumps.wikimedia.org/frwiki/20151202/frwiki-20151202-pages-articles-multistream-index.txt.bz2

Descompacte o arquivo bz2:

# bzip2 -d frwiki-20151202-pages-articles-multistream-index.txt.bz2

Renomeie o arquivo:

# mv frwiki-20151202-pages-articles-multistream-index.txt metadata.txt

A partir do diretório do hadoop-2.6.2 crie o diretório /input no sistema de arquivo dfs:

# bin/hadoop dfs -mkdir /input

Verifique se o diretório foi criado:

# bin/hadoop dfs -ls /input

Copie o arquivo metadata.txt para dentro do diretório /input:

# bin/hadoop dfs -copyFromLocal [CAMINHO DO ARQUIVO]/metadata.txt /input

Verifique se o arquivo foi copiado:

# bin/hadoop dfs -ls /input

Obs.: se você der ls ou tentar encontrar o diretório /input o sistema não irá localizá-lo. Sabe dizer por que isso ocorre?

Execute o comando para início da computação usando o cluster hadoop:

# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.2.jar wordcount /input/metadata.txt /output

Obs.: a partir deste momento o cluster estará realizando a contagem das palavras em um arquivo de 165MB. Executando a tarefa de forma paralela nos dois datanodes/nodemanager, aumentando assim a performance do sistema.

Se tudo ocorrer bem,(map 100% e reduce 100%) dois arquivos serão gerados no diretório /output visto somente pelo comando abaixo:

# bin/hadoop dfs -ls /output/

O resultado da contagem pode ser visto pelo comando:

# bin/hadoop dfs -cat /output/part-r-00000

Para este exemplo, caso queira reexecutar a aplicação, execute os comandos abaixo para limpar o diretório output:

# bin/hadoop dfs -rm /output/*
# bin/hadoop dfs -rmdir /output