Manipulação de Logs [RESOLVIDO]

arsaraiva escreveu:

Boa tarde amigos,

evoluiu bastante meu código:

f = open("bd.log", "r")

origem=6



for line in f:

    s = line.split()

    ini= (s[0]+s[1])

    if (len(s) > 0):

        if (ini == "DEBUG(0):") and (s[2] == "SORVEDOURO:"):

            origem_raiz=s[3]

            print (origem_raiz)

            controle=s[6]

            print(controle)

            tempo_final=s[7]

            print (tempo_final)

            no="DEBUG("+str(origem)+"):"

            print (no)

        elif (ini == no) and (s[2] == "ENVIAR_PKT_DADOS:"):

            print (s[2])

            #controle_no=s[8]

            #print (controle_no)

            #tempo_inicial=s[10]

            #print (tempo_inicial) 

A primeira parte, até o elif está 100%. Porém, quando chega no elif, diz que "NameError: name 'no' is not defined". Até entendi que se a condição do primeiro if não for satisfeita, vai pular para o elif e a variável no não será inicializada.
Bem, minha pergunta é como fazer essa verificação dentro do if, pois se coloco apenas o if (ini == no) and (s[2] == "ENVIAR_PKT_DADOS:"): dentro do primeiro if, ini nunca será igual a no (ini já vem carregado com DEBUG(0): e no deverá se carregado com DEBUG(valor da variável origem do primeiro if):)

Alguém se habilita em me ajudar.
Mais uma vez agradeço.

arsaraiva escreveu:

Olá Marcelo,

Eu não conheço nada de shellscript ou outra linguagem. Comecei a pouco tempo com python e é a única linguagem que já vi.
poderia me explicar melhor sua ideia.
Grato

arsaraiva escreveu:

Olá Marcelo, repare em algumas linha do log (manipulei essas linhas para produzir um exemplo)

WALLTIME 0
DEBUG (13): BOOT_NO: No 13 boot no slot 0
DEBUG (13): No 13 no hops 255
WALLTIME 17323464
DEBUG (8): BOOT_NO: No 19 boot no slot 0
DEBUG (8): No 19 no hops 255
WALLTIME 40406986
DEBUG (9): BOOT_NO: No 9 boot no slot 0
DEBUG (9): No 9 no hops 255
WALLTIME 192827266753
DEBUG (8): SLOT_ATIVO: No 8 no slot [3] com tempo=19668.
DEBUG (8): ENVIAR_PKT_DADOS: destino 6 slot 1 [cont 3] no tempo=19668.
WALLTIME 196230790386
DEBUG (28): SLOT_ATIVO: No 28 no slot [0] com tempo=20042.
DEBUG (28): ENVIAR_PKT_DADOS: destino 0 slot 0 [cont 3] no tempo=20042.
WALLTIME 196230790486
DEBUG (20): TIME_TO_SEND [0]: tempo para enviar o pkt=20009.
WALLTIME 196231466075
DEBUG (20): SLOT_ATIVO: No 20 no slot [0] com tempo=20009.
DEBUG (20): SEND_BEACON: [numseq 149], slot 0 no tempo=20009.
WALLTIME 196231466175
DEBUG (0): SLOT_INATIVO: No 0 no slot [34] com tempo=20009.
WALLTIME 196266144222
DEBUG (6): SLOT_ATIVO: No 6 no slot [0] com tempo=20064.
DEBUG (6): ENVIAR_PKT_DADOS: destino 0 slot 0 [cont 3] no tempo=20064.
WALLTIME 196334795776
DEBUG (28): TIME_TO_SEND [1]: tempo para enviar o pkt=20053.
WALLTIME 196338212261
DEBUG (28): SLOT_ATIVO: No 28 no slot [1] com tempo=20053.
DEBUG (28): SEND_BEACON: [numseq 156], slot 1 no tempo=20053.
WALLTIME 196338212361
DEBUG (20): TIME_TO_SEND [1]: tempo para enviar o pkt=20020.
WALLTIME 196338887950
DEBUG (20): SLOT_ATIVO: No 20 no slot [1] com tempo=20020.
DEBUG (20): ENVIAR_PKT_DADOS: destino 0 slot 1 [cont 3] no tempo=20020.
WALLTIME 196338888050
DEBUG (0): TIME_TO_SEND [0]: tempo para enviar o pkt=20020.
WALLTIME 196348116024
DEBUG (0): SLOT_ATIVO: No 0 no slot [0] com tempo=20020.
DEBUG (0): SEND_BEACON: [numseq 151], slot 0 no tempo=20020.
WALLTIME 196365167299
DEBUG (0): SORVEDOURO: [trans 6] [origem 8] [slot 0] [cont 3] [time 20022].

Olhando no log, é possível perceber que o pacote com controle 3 [cont 3] foi originário do nó 8 (DEBUG (0): SORVEDOURO: [trans 6] [origem 8] [slot 0] [cont 3] [time 20022]), passou pelo nó 6 ([trans 6]) até chegar no destino (sorvedouro).
Bem, o sorvedouro sempre será o destino final. Pensei em fazer um varredura no arquivo para localizar o DEBUG (0): SORVEDOURO (tem que ser sorvedouro, já que o DEBUG(0) faz outras coisas também) que não muda nunca e a partir dele, carregar 3 variáveis, origem que servirá para a próxima consulta, controle que serve para ver se o pacote é o mesmo da origem para o destino (pode acontecer do DEBUG (0) me retornar uma origem 8 mais o controle for 2, isso quer dizer que o pacote com controle 1 foi perdido) e tempo que servirá para calcular o tempo que demorou para este pacote chegar.
Uma vez carregadas as variáveis, varreria novamente o arquivo a procura do DEBUG (valor de origem que foi carregado, ex.: DEBUG (8): ENVIAR_PKT_DADOS:)(se for possível, varrer do DEBUG (0) para trás já que antes de receber, o pacote tem que ser enviado e também tem que ser ENVIAR_PKT_DADOS). Localizado a primeira ocorrência do DEBUG (8): ENVIAR..., iria carregar um variável controle2, faria a verificação se controle == controle2, se positivo, carrega o tempo2 e faz a operação tempo - tempo2 para retornar o tempo que este pacote demorou. Caso a verificação dos controles retorne falso (controle != controle2), continua a verificação até próxima ocorrência do DEBUG (8): ENVIAR...ou até chegar ao fim, que neste caso retorna "perdido".
Importante reparar que não me interesso pelos nó intermediários (DEBUG (6).
Outro detalhe é que são uns 2000 DEBUG (0): SORVEDOURO, então tenho que fazer essa verificação repetir n vezes (até o fim do arquivo)

Espero que tenha conseguido explicar. Obrigadão pela ajuda. Acredito que por script irá ficar mais rápida a consulta, pois o log tem aproximadamente 25000000 linhas.

arsaraiva escreveu:

Olá Marcelo,

Realmente, o processo se inicia no DEBUG (0): SORVEDOURO e depois meio que "anda para trás", pois imagine que você esta fazendo uma viagem, para saber o tempo gasto, você espera chegar para subtrair do momento que saiu da origem. è isso que estou tentando fazer, pegar a chegada (DEBUG (0):SORVEDOURO....), localizar a saída (DEBUG (origem dada pelo sorvedouro):ENVIAR_PKT_DADOS e fazer as operações.
o valor exato de quantos DEBUG (0)´s vai depender de cada log.
Alguns logs tem em torno de 2000 DEBUG (0): SORVEDOURO
outras tem 500, como também 4000.
Concordo com você, em gerar um temporário, só não sei como fazer isso.

Obrigado

arsaraiva escreveu:

Bom dia Marcelo,

na verdade não, podem existir n ocorrências "DEBUG (origem): ENVIAR_PKT_DADOS", como outras.
O que garante que a ocorrência encontrada é a que queremos é a variável cont que tem que ser igual no SORVEDOURO e no ENVIAR_PKT_DADOS.

Isso ocorre porque durante o tempo de simulação o DEBUG (origem) cria pacotes de dados, de controle e ACK. Para facilitar, a cada 5000ms é gerado um pacote de dados.

#!/bin/bash

OLDIFS="IFS"

CVM="\x1B[0;38;5;196m"

CVD="\x1B[0;38;5;2m"

FC="\x1B[m"

COLS=$(($(tput cols)/2))



LINE() {

	printf '%*s' "${COLS}" '' | sed "s/ /—/g"

}



#PEGA AS OCORRÊNCIAS DEBUG (0): SORVEDOURO: "PADRONIZA/Limpa" e GERA "ARQ_SORVED.txt".

sed -n '/^DEBUG (0): SORVEDOURO:/p' INPUT_FILE.txt|sed -r 's/([ ])([0-9]+)/=\2/g;s/\[|\]|:|\)|\.//g;s/ \(/=/' >> ARQ_SORVED.txt



#PEGA DEBUG (nn): ENVIAR_PKT_DADOS: - "PADRONIZA/Limpa" E GERA ARQ_PKT_DADOS.TXT

grep -E 'DEBUG \([0-9]+\): ENVIAR_PKT_DADOS:' INPUT_FILE.txt |sed -r 's/\(|\)|:|\.|\[|\]//g;s/([ ])([0-9]+)/=\2/g' >> ARQ_PKT_DADOS.txt

											     

while IFS=" " read -a FLD00;do

eval ${FLD00[3]} #define a var origem

eval ${FLD00[5]} #define a var cont

eval ${FLD00[6]} #define a var time



#BUSCA POR PKT_DADOS, EM: ARQ_PKT_DADOS.txt

CONTROLE="${FLD00[5]}"

ORIGEM="DEBUG=${origem}"

DADOS_PKT=$(awk '{if($1=="'$ORIGEM'" && $5=="'$CONTROLE'") print $0}' ARQ_PKT_DADOS.txt)

	if ((${#DADOS_PKT} > 0));then

	IFS=" ";read -a FLD01 <<< "$DADOS_PKT";IFS="$OLDIFS"

	eval ${FLD01[6]} #define a var tempo, linha abaixo, subtrai e mostra o resultado.

	echo -e "${CVD}$(LINE)\n Origem: $ORIGEM\n Controle: $CONTROLE\n Tempo Gasto: $((time-tempo))\n$(LINE)${FC}"

	else

	echo -e "${CVM}$(LINE)\n Origem: $ORIGEM\n Controle: $CONTROLE\n ENVIAR_PKT_DADOS NãO ENCONTRADO\n$(LINE)${FC}"

	fi

done<ARQ_SORVED.txt