Fazer Script Shell utilizar 100% de CPU

Olá Amigos,

Comecei a trabalhar com Linux recentemente e tenho vários scripts em Shell que processam grandes quantidades de informação, o que consequentemente demora um pouco.
Recentemente adquirimos uma nova maquina aqui com processador i7 980x 3.3Ghz/3,5TB HD/24GB RAM
Instalamos Slackware 13.1 nesta maquina e reconheceu o processador e a memória sem problemas.
A supresa foi quando rodamos os scripts e o uso de CPU não passa dos 12% e o uso de nmemória física fica em 1.5GB no maximo.
Gostariamos de fazer os scripts utilizarem full CPU já que eles são executados em fila, ja tentamos setar a prioridade do processo com o nice, ja tentamos utilizar o cpulimit colocando como 100% e nada resolve.

Espero que possam nos ajudar.

Obrigado desde ja.

Abraços.

Bom,
Sem ter mais detalhes eu diria que por conta da grande quantidade de dados sendo processadas, o gargalo está na obtenção desses dados, os scripts não alcançam 100% de cpu pq ficam esperando os dados.

muitas vezes o atrazo pode ser pelo hd, vc pode colocar todos os script p rodar ao msm tempo, mas se for gravando no HD, ja era

mmaximo e douglasfim, o que me sugerem?

Esta maquina tem 3 HD's sata de 7.200 RPM.

Obrigado.

os hds estão em RAID?

se não estiverem, não vai ter diferença nenhuma em desempenho

a velocidade que o HD trabalha não é nada perto do processador, ainda mais esse i7 980x

posta o script, ai fica mais facil de ver oq está atrazando ou pq não está usando velocidade total

Estavam em RAID 0 (stripe) porém de maneira nenhuma conseguimos fazer o slackware reconhecer o RAID.

O script é bem grande, tem alguma maneira de anexar aqui?

De qualquer forma teste mesmo comandos como cut, sed e awk e eles nao usam nem 15% mesmo tentando com o cpulimit 100%

Obrigado.

Dificil dizer mas recomendaria a vc estudar as ferramentas iotop e latenctop, elas dão uma ideia como esta a transferencia de dados.

Fora isso uma ideia seria vc um sistema de arquivo em memoria o tmpfs,
poes os dados que vao ser processados com antecedencia e roda os scripts. O problema é que fica limitado pela quantidade de memoria, se seus arquivos forem maiores nao dá pra usar.

Fora isso só imagino usar o hdparm pra ver se o HD esta otimizado e no pior dos caso usar HD de 15000 rpm em Raid.

Mas antes tem q investigar melhor o problema. A taxa de transferencia do HD foi so uma idéia.

Ok...

Em relação ao RAID no slackware voce me indica algum manual ou tutorial?

Abraços.

então cara, não tem problema não, posta o script independente do tamanho

while [ $contador -le $dias ] ; do

if [ $contador -le 9 ]; then
numero="0"$contador
else
numero=$contador
fi
#########
if [ $mode -eq 1 ] ; then
cut -d "." -f 2,4 $caminho/passo1_op1 > $caminho/passo3_op1
#
sort $caminho/passo3_op1 | uniq | wc -l | cut -d " " -f 1 >> $caminho/Z_Visits.txt
fi
#
if [ $mode -eq 2 ] ; then
cut -d " " -f $p_hora $caminho/ed$numero.log | cut -d ":" -f $p_dois_pontos > $caminho/passo3_op2
paste $caminho/passo3_op2 $caminho/passo2_op2 > $caminho/passo4_op2
#
sort $caminho/passo4_op2 | uniq | wc -l | cut -d " " -f 1 >> $caminho/Z_Visits.txt
fi
#
if [ $mode -eq 3 ] ; then
# Pega so o que tem utma=
cut -d "." -f 2,4 $caminho/passo1_op3 | sort | uniq | wc -l | cut -d " " -f 1 > $caminho/visits_utma_op3.txt
# Pega so o que nao tem utma
cut -d " " -f $p_hora $caminho/passo2_op3 | cut -d ":" -f $p_dois_pontos > $caminho/passo6_op3
paste $caminho/passo6_op3 $caminho/passo5_op3 > $caminho/passo7_op3
sort $caminho/passo7_op3 | uniq | wc -l | cut -d " " -f 1 > $caminho/visits_ipbrowser_op3.txt
# Soma os dois resultados, com e sem utma=
expr `cat $caminho/visits_utma_op3.txt` + `cat $caminho/visits_ipbrowser_op3.txt` >> $caminho/Z_Visits.txt
fi
######
done

então cara, vou dar uma olhada nesse script e daki a poco eu falo

uma boa p vc fazer de imediato é debuga o script

bash -xv script.sh

assim vc vai ver passo a passo oq o script está fazendo, ai da p ver onde ele está demorando

Legal Douglas,

Fico muito grato amigo.
Se tiver alguma referencia a me indicar sobre como configurar o RAID no Linux seria legal.


Abraços.