Como criar um arquivo que mostre informações em colunas vindas de 2 arquivos? [RESOLVIDO]

luizcarlos18rj
(usa Suse)

Enviado em 26/02/2015 - 10:56h

Fala galera, como todo iniciante em linux / shell script, to com um problema e queria a ajuda de vcs.

Meu objetivo é criar uma Lista (pode ser um arquivo.txt ) que mostrasse as informações da minha rede como IPS, nomes de máquina e mac adress nas minhas faixas de ips.

na minha rede tenho 2 faixas que são 10.3.20.1-255 e 10.3.22.1-255, a maioria das máquinas tão na peimeira rede a algumas poucas na segunda.

Queria criar um script que dentro dele rodasse os comandos "nmap" e "nbtscan" e através de suas informações concatenasse num só arquivo, para exemplificar:


quando rodo o NMAP isoladamente como um comando obtenho a tela informações parecidas como a seguir:


$: nmap -sP 10.3.20.1-254> nmap.txt

Starting Nmap 4.75 ( http://nmap.org ) at 2015-02-23 14:23 BRT
Host 10.3.20.1 appears to be up.
MAC Address: 00:16:11:E0:E4:C2 (Cisco Systems)
Host 10.3.20.2 appears to be up.
MAC Address: B4:99:BA:05:C9:80 (Unknown)
Host 10.3.20.3 appears to be up.
MAC Address: 00:15:C5:F5:AF:92 (Dell)
Host 10.3.20.4 appears to be up.
MAC Address: B4:22:BA:08:D5:8C (Unknown
.
.
.

Eu quando rodo o nbtscan, sai asim:

$: nbtscan -sP 10.3.20.1-254> nbtscan.txt

Doing NBT name scan for addresses from 10.3.20.1-254

IP address NetBIOS Name Server User MAC address
------------------------------------------------------------------------------
10.3.20.8 44T1_M418 <server> <unknown> 00-1a-64-1f-14-9a
10.3.20.2 CAXOP04 <unknown> 00-02-a5-41-54-ff
10.3.20.1 C30M436 <unknown> 00-22-64-e4-aa-29
10.3.20.5 KPIE833C5 <unknown> 00-00-00-00-00-00
10.3.20.11 C855M453 <unknown> 00-22-64-e4-aa-18
10.3.20.4 SC42-1A <server> SC40-1S 00-00-00-00-00-00
10.3.20.13 CAXOP07 <server> CAXOP11 00-00-00-00-00-00
.
.
.

Obs.: Notem que tem mac adress que sai "00-00-00-00-00-00", mas no nmap sai certinho e não sai em ordem crescente de IP

O que eu precisava era criar um arquivo que concatenasse essas informações de forma a ficar assim:


IP NOME MAC address (nmap) MAC address (nbtscan)
------------------------------------------------------------------------------
10.3.20.1 C30M436 00-22-64-e4-aa-29 00-22-64-e4-aa-29
10.3.20.2 CAXOP04 00-02-a5-41-54-ff 00-02-a5-41-54-ff
10.3.20.3 ------- ----------------- 00:15:C5:F5:AF:92
10.3.20.4 SC42-1A 00-00-00-00-00-00 B4:22:BA:08:D5:8C
10.3.20.5 KPIE833C5 00-00-00-00-00-00 B4:99:BA:05:C9:80
10.3.20.6 ------- ----------------- 00:16:11:E0:E4:C2
10.3.20.7 ------- ----------------- B4:99:BA:05:C9:80
10.3.20.8 44T1_M418 00-1a-64-1f-14-9a 00-1a-64-1f-14-9a
10.3.20.9 ------- ----------------- 00:1E:C1:22:5c:E4
10.3.20.10 ------- ----------------- 40:01:C6:55:43:3D
10.3.20.11 C855M453 00-22-64-e4-aa-18 00-22-64-e4-aa-18
10.3.20.12 ------- ----------------- 40:02:C6:55:52:A3
10.3.20.13 CAXOP07 00-00-00-00-00-00 B4:99:BA:14:84:50
10.3.20.14 ------- ----------------- 00:22:64:C4:AA:18
10.3.20.15 ------- ----------------- 6C:62:6D:D7:A0:8A
.
.
.
viram? nesse arquivo final estaria ordenado por ip e pelo nmap mostraria TODOS os ips e mcadress, mas aqueles que tivessem informações extras vindo do nbtscan seriam incrementadas ao longo das colunas como nome da máquina e embaixo a mesma coisa para a rede 10.3.221-255.

Como fazer um script assim? è Possível?

Desde já agradeço.

luizcarlos18rj
(usa Suse)

Enviado em 26/02/2015 - 14:12h

caraca galera tá ruim a coisa, não consigo formatar, no editor de texto fica tabulado certinho, quando colo no navegador, sai tudo torno, ajeito, mas na hora de postar sai torto de novo, não sei mais o que fazer, mas acha que dá pra ver melhor o resultado final do arquivo que queria mostrar a vcs, outra, quando uso o comando sort -n para ordenar os ips da segunda lista e não classifica direito fixa assim:

10.3.20.102
10.3.20.117
10.3.20.120
10.3.20.124
10.3.20.125
10.3.20.13
10.3.20.143
10.3.20.144
10.3.20.145
10.3.20.146
10.3.20.15
10.3.20.151
10.3.20.170
10.3.20.173
10.3.20.190
10.3.20.193
10.3.20.215
10.3.20.219
10.3.20.239
10.3.20.251
10.3.20.29
10.3.20.3
10.3.20.39
10.3.20.4
10.3.20.50
10.3.20.51
10.3.20.52
10.3.20.58
10.3.20.59
10.3.20.61
10.3.20.63
10.3.20.68
10.3.20.75
10.3.20.76
10.3.20.77
10.3.20.78
10.3.20.82
10.3.20.87
10.3.20.88
10.3.20.9
10.3.20.90
10.3.20.94
10.3.20.97
10.3.20.99

Viram? ele considera o 9 como maior que 89 como se fosse 90, como transformar o 1, 2, 3, 4, 5, 6, 7, 8, 9 em 01, 02, 03, 04, 05, 06, 07, 08 e 09?

O comando foi:

sort -n -k1 /tmp/a_nbtscan.txt > /tmp/a_nbtscan_org.txt

fdmarp
(usa Debian)

Enviado em 26/02/2015 - 18:48h

com relaão ao seu sort, tente:

sort -t'.' -n -k1,1n -k2,2n -k3,3n -k4,4n

wagnerfs
(usa Fedora)

Enviado em 27/02/2015 - 00:47h

Boa noite.

uizcarlos18rj ,

Consegui extrair as informações de IP e MAC do comando NMAP da seguinte forma:

# cat teste | grep -i host | cut -d ' ' -f2 > ips.txt 

Joguei toda a saída do comando acima para um arquivo de texto. Apliquei um filtro na palavra host com o grep e do resultado extrair apenas a coluna (-f) dois nas informações que estão delimitadas por espaço (-d). Em seguida:

# cat teste | grep ":" | cut -d ' ' -f3 | sed '1'd > macs.txt 

Fiz algo parecido com o comando anterior alterando algumas informações e acrescentando o sed para apagar a primeira linha que exibe uma informação nada interessante.

Criei um arquivo chamado resultado e inserir manualmente as informações abaixo:

IP MAC
-----------------------------------

Agora fiz a união dos dois arquivos criados anteriormente com o comando paste

# paste ips.txt macs.txt  >> resultado 

O resultado foi esse. Perceba que entre a palavra IP e MAC está sem espaço mas é por conta da formatação daqui do VOL. É só acrescentar tabulação durante a edição do arquivo resultado.

Ficou faltando a parte do hostname como você mencionou, mas ainda estou vendo isso. De antemão, isso aí já é mais de meio caminho andado.
_________________________
Wagner F. de Souza
Graduado em Redes de Computadores
"GNU/Linux for human beings."
LPI ID: LPI000297782

luizcarlos18rj
(usa Suse)

Enviado em 04/03/2015 - 08:57h

Obrigado a todos pelas dicas valiosas, meio que consegui chegar ao meu objetivo, mas mesmo assim tenho dúvidas e queria otimizar o código.
Num primeiro momento duplicava o código um para a faixa 20 e outra pra faixa 22 , mas tive a idéia de usar uma variável e pude tirar metade das linhas de código.

#Declaração de Variáveis

data=$(date +%d/%m/%Y" - "%H:%M:%S)

#

#Declaração de funções

#

trata_arquivos(){

#Tratamento de arquivos ( zerar )

#

> /root/IP_REDE/faixa_$faixa_rede/a_nmap.txt

> /root/IP_REDE/faixa_$faixa_rede/a_nbtscan.txt

> /root/IP_REDE/faixa_$faixa_rede/a_ips_nmap.txt

> /root/IP_REDE/faixa_$faixa_rede/a_macs_nmap.txt

> /root/IP_REDE/faixa_$faixa_rede/a_nmap_formatado.txt

> /root/IP_REDE/faixa_$faixa_rede/a_ips_nbtscan.txt

> /root/IP_REDE/faixa_$faixa_rede/a_hostname_nbtscan.txt

> /root/IP_REDE/faixa_$faixa_rede/a_nbtscan_formatado.txt

> /root/IP_REDE/faixa_$faixa_rede/a_nbtscan_formatado_org.txt

> /root/IP_REDE/faixa_$faixa_rede/a_lista_rede_tab.txt

> /root/IP_REDE/faixa_$faixa_rede/a_lista_rede_espaco.txt

> /root/IP_REDE/faixa_$faixa_rede/a_lista_rede_expand.txt

> /root/IP_REDE/faixa_$faixa_rede/a_lista_rede_$faixa_rede.txt

}

#

varredura(){

#Tratamento do NMAP

nmap -sP 10.3.$faixa_rede.1-255> /root/IP_REDE/faixa_$faixa_rede/a_nmap.txt

grep -v serverbkp /root/IP_REDE/faixa_$faixa_rede/a_nmap.txt > /root/IP_REDE/faixa_$faixa_rede/a_nmap2.txt

cat /root/IP_REDE/faixa_$faixa_rede/a_nmap2.txt | grep -i 10.3. | cut -d ' ' -f2 > /root/IP_REDE/faixa_$faixa_rede/a_ips_nmap.txt

cat /root/IP_REDE/faixa_$faixa_rede/a_nmap2.txt | grep -i MAC | cut -d ' ' -f3 > /root/IP_REDE/faixa_$faixa_rede/a_macs_nmap.txt

paste /root/IP_REDE/faixa_$faixa_rede/a_ips_nmap.txt /root/IP_REDE/faixa_$faixa_rede/a_macs_nmap.txt > /root/IP_REDE/faixa_$faixa_rede/a_nmap_formatado.txt

sort -t'.' -n -k1,1n -k2,2n -k3,3n -k4,4n /root/IP_REDE/faixa_$faixa_rede/a_nmap_formatado.txt > /root/IP_REDE/faixa_$faixa_rede/a_nmap_formatado_org.txt

#

#Tratamento do NBTSCAN

nbtscan 10.3.$faixa_rede.1-255> /root/IP_REDE/faixa_$faixa_rede/a_nbtscan.txt

cat /root/IP_REDE/faixa_$faixa_rede/a_nbtscan.txt | grep -i 10.3 | cut -d ' ' -f1 | sed '1'd  > /root/IP_REDE/faixa_$faixa_rede/a_ips_nbtscan.txt

cat /root/IP_REDE/faixa_$faixa_rede/a_nbtscan.txt | grep -i 10.3 | awk '{ print $2}' | sed '1'd > /root/IP_REDE/faixa_$faixa_rede/a_hostname_nbtscan.txt

paste /root/IP_REDE/faixa_$faixa_rede/a_ips_nbtscan.txt /root/IP_REDE/faixa_$faixa_rede/a_hostname_nbtscan.txt > /root/IP_REDE/faixa_$faixa_rede/a_nbtscan_formatado.txt

sort -t'.' -n -k1,1n -k2,2n -k3,3n -k4,4n /root/IP_REDE/faixa_$faixa_rede/a_nbtscan_formatado.txt > /root/IP_REDE/faixa_$faixa_rede/a_nbtscan_formatado_org.txt

#

#Formatação do relatório 

#

join -a1 --nocheck-order /root/IP_REDE/faixa_$faixa_rede/a_nmap_formatado_org.txt /root/IP_REDE/faixa_$faixa_rede/a_nbtscan_formatado_org.txt > /root/IP_REDE/faixa_$faixa_rede/a_lista_rede_tab.txt

tr ' ' '\t' < /root/IP_REDE/faixa_$faixa_rede/a_lista_rede_tab.txt > /root/IP_REDE/faixa_$faixa_rede/a_lista_rede_espaco.txt

#comando expand: troca tabulação poe espaçamento, melhor para apresentar o arquivo de texto.

expand -t8 /root/IP_REDE/faixa_$faixa_rede/a_lista_rede_espaco.txt > /root/IP_REDE/faixa_$faixa_rede/a_lista_rede_expand.txt

#

echo >> /root/IP_REDE/faixa_$faixa_rede/a_lista_rede_$faixa_rede.txt

echo "                   FAIXA 10.3.$faixa_rede.1-255            " >> /root/IP_REDE/faixa_$faixa_rede/a_lista_rede_$faixa_rede.txt

echo "___________________________________________________________" >> /root/IP_REDE/faixa_$faixa_rede/a_lista_rede_$faixa_rede.txt

echo >> /root/IP_REDE/faixa_$faixa_rede/a_lista_rede_$faixa_rede.txt

echo "    IP              MAC ADRESS            NOME" >> /root/IP_REDE/faixa_$faixa_rede/a_lista_rede_$faixa_rede.txt

echo "___________________________________________________________" >> /root/IP_REDE/faixa_$faixa_rede/a_lista_rede_$faixa_rede.txt

echo >> /root/IP_REDE/faixa_$faixa_rede/a_lista_rede_$faixa_rede.txt

cat /root/IP_REDE/faixa_$faixa_rede/a_lista_rede_expand.txt >> /root/IP_REDE/faixa_$faixa_rede/a_lista_rede_$faixa_rede.txt

}

faixa_20(){

faixa_rede=20

trata_arquivos

varredura

}

faixa_22(){

faixa_rede=22

trata_arquivos

varredura

}

#

#Início

#

> /root/IP_REDE/a_lista_rede.txt

faixa_20

faixa_22

echo "" | tee -a /root/IP_REDE/a_lista_rede.txt

echo "         IPS REDE CASOP ($data)                                  " | tee -a /root/IP_REDE/a_lista_rede.txt

cat /root/IP_REDE/faixa_48/a_lista_rede_48.txt /root/IP_REDE/faixa_50/a_lista_rede_50.txt | tee -a /root/IP_REDE/a_lista_rede.txt

#

#FIM

 

---------------------------------------
SAÍDA DO SCRIPT:
--------------------------------------

         IPS REDE CASOP (03/03/2015 - 16:13:14)                                  



                   FAIXA 10.3.20.1-255            

___________________________________________________________



    IP              MAC ADRESS                 NOME

___________________________________________________________



10.3.20.1       00:16:46:E0:E4:C2

10.3.20.2       B4:99:BA:08:C8:80

10.3.20.3       00:15:C5:F6:AF:94       CASOP03

10.3.20.4       B4:99:BA:08:D5:8C       CASOP06

10.3.20.6       00:18:6E:09:C7:42

10.3.20.7       00:18:6E:D4:E6:BD

10.3.20.8       00:1A:C1:AC:7D:C0

10.3.20.9       00:80:91:52:20:C1       MFP-05392577

10.3.20.11      00:1E:C1:94:D2:00

10.3.20.13      B4:99:BA:04:84:22       CASOP05

10.3.20.15      00:02:A5:41:54:FF       CASOP04

10.3.20.16      40:01:C6:55:0A:9A

10.3.20.17      00:1E:C1:13:5A:E4

10.3.20.19      40:01:C6:55:52:A3

10.3.20.21      40:01:C6:54:E1:FF

10.3.20.22      40:01:C6:A4:A0:72

10.3.20.24      40:01:C6:55:43:3D

10.3.20.25      20:FD:F1:07:CA:9A

10.3.20.26      00:24:77:07:2F:B9

10.3.20.29      00:1A:64:1F:14:9A       44A1_M418

10.3.20.30      3C:D9:2B:6C:30:09

10.3.20.49      00:22:15:D7:92:DD

10.3.20.22      70:71:BC:B0:F9:EB       AUDITORIO_M496

10.3.20.51      00:1A:64:22:21:95       SC40-2

10.3.20.52      00:1E:2A:49:99:29       SC40-1

10.3.20.58      00:1F:C6:E3:55:63       C5162M445

10.3.20.59      00:22:15:D7:A2:C2       C5213M444

10.3.20.61      6C:62:6D:B7:92:73       C06AM559

10.3.20.68      00:22:64:E4:AA:D9       33_M454

10.3.20.69      00:22:64:E4:AA:C6

10.3.20.75      E4:11:5B:A6:7F:DD       C052M567

10.3.20.76      00:1F:C6:67:54:80       C05M427

10.3.20.77      6C:62:6D:B7:A0:8A       C0631M563

10.3.20.80      3C:4A:92:B8:D8:91

10.3.20.88      E4:11:5B:A6:82:64       C06M588

10.3.20.94      00:22:FC:C5:1D:5B       C5121M347

10.3.20.96      18:A9:05:B1:DA:12

10.3.20.97      18:A9:05:B1:DD:CD       C5161M467

10.3.20.99      18:A9:05:B1:DA:15       C5224M472

10.3.20.102     E4:11:5B:A6:87:38       C34M578

10.3.20.106     00:22:DA:D6:0B:99

10.3.20.120     E4:11:5B:A6:82:C3       C10M596

10.3.20.124     00:1F:D0:FB:28:12       44_M391

10.3.20.130     70:71:BC:63:20:90       C33A1M209

10.3.20.140     00:1D:7D:85:DA:E1       C5224M414

10.3.20.144     6C:62:6D:B4:77:17       C412M532

10.3.20.146     00:1A:4D:AD:CB:85       C72M412

10.3.20.120     00:24:77:07:09:4C

10.3.20.190     00:1D:60:82:02:EA       C4123M346

10.3.20.193     E4:11:5B:A6:7F:8D       C051M565

10.3.20.209     00:60:97:9C:33:36       C532M343

10.3.20.215     E4:11:5B:A6:82:BE       C02M595

10.3.20.236     00:1D:7D:F4:DD:BE

10.3.20.239     00:1D:7D:89:64:35       C32A2M387

10.3.20.244     00:26:18:EF:14:ED       C44M478

10.3.20.249     00:1D:7D:89:5D:21

10.3.20.251     00:1D:09:EF:58:EE       30-M404

10.3.20.252     00:1E:C1:13:BE:E4



                   FAIXA 10.3.22.1-255            

___________________________________________________________



    IP              MAC ADRESS            NOME

___________________________________________________________



10.3.22.12      3C:4A:92:B8:D8:93

10.3.22.17      64:51:06:1A:BE:6D

10.3.22.25      00:64:00:00:E9:FB

10.3.22.35      E4:11:5B:A6:87:28       C54M581

10.3.22.38      E4:11:5B:A6:85:9D       C32M599

10.3.22.40      64:51:06:1A:BE:EC       C06M604

10.3.22.45      E4:11:5B:A6:85:14       C151M600

10.3.22.56      6C:62:6D:B4:77:10       C15M547

10.3.22.99      6C:62:6D:B7:A1:EA       C063M564

10.3.22.102     6C:62:6D:B4:76:A4       33A5_M512

10.3.22.103     6C:62:6D:B7:A0:7F       C31A1M513

10.3.22.105     6C:62:6D:B4:79:4C       C32A1M515

10.3.22.153     6C:62:6D:B4:76:F4       C52SM535

10.3.22.155     6C:62:6D:B7:A0:7E       C511M537

10.3.22.158     6C:62:6D:B4:76:F9       C511M540

10.3.22.190     6C:62:6D:B7:A5:61       C052M555

10.3.22.192     6C:62:6D:B4:77:57       C051M557

10.3.22.201     6C:62:6D:B7:A1:E0       C40M223

10.3.22.202     6C:62:6D:B7:94:4A       C33A3M224

10.3.22.209     6C:62:6D:B7:95:3B       C411M510

10.3.22.210     6C:62:6D:B7:95:5F       C4121M529

10.3.22.212     6C:62:6D:B7:95:6E       C4124M531

10.3.22.213     E4:11:5B:A6:87:AD       C0512M597

 

Com isso, através do comando "join" que é tipo um banco de dados pude juntar duas listas baseadas num campo comum ( índice - no caso o IP ) e com isso deu certo, mas tenho 2 grandes dúvidas:

1 - Ao usar redirecionadores, não consigo "sobrescrever" o próprio arquivo, pois ele fica nulo com 0 Kb, então a cada operação de formatação do texto tive que redirecionar para arquivos diferentes, com um novo nome, ficando na minha opinião redundante como no exemplo:

> /root/IP_REDE/faixa_$faixa_rede/a_lista_rede_tab.txt
> /root/IP_REDE/faixa_$faixa_rede/a_lista_rede_espaco.txt
> /root/IP_REDE/faixa_$faixa_rede/a_lista_rede_expand.txt
> /root/IP_REDE/faixa_$faixa_rede/a_lista_rede_$faixa_rede.txt

Tem como "sobrescrever" o próprio arquivo? Para ficar um só a cada operação?

2 - Em um dos meu ips ( 10.3.22.9 ), o nmap mostrou o nome de host e não mostrou o MAc Adress, o que deixou a segunda lista com u item a mais do que a primeira e na hora de juntar trocou o MAC e IP de todo mundo, então tive que "na mão" dar um grev-v para excluir a linha problemática, mas se tivessem mais estações iguais como eu ia fazer via código?

Segue saída do nmap:

Starting Nmap 4.75 ( http://nmap.org ) at 2015-03-03 16:13 BRT
Host serverbkp (10.3.22.9) appears to be up.
( mostra "serverbkp" como coluna f2 e o ip fica na efrnceira, mas todos os outros o ips ficam na segunda, de acordo com o comando: cat /root/IP_REDE/faixa_$faixa_rede/a_nmap2.txt | grep -i 10.3. | cut -d ' ' -f2 > /root/IP_REDE/faixa_$faixa_rede/a_ips_nmap.txt)
#( Para o IP acima não mostra a linha MAC Address )
.
Host 10.3.22.12 appears to be up.
MAC Address: 3C:4E:92:C8:D8:93 (Unknown)
Host 10.3.22.17 appears to be up.
MAC Address: 64:51:11:1A:BE:6D (Unknown)
.
.
.

3 - Esse IP problemático ( 10.3.22.9 - serverbkp) é a máquina linux em que estou executando o script remotamente via putty numa máquina win7, isso influencia em algo?
Editei o arquivo /etc/hostname e tava assim:

10.3.22.9 serverbkp serverbkp

Tava escrito "na mão", a apaguei e no nmap mostrou só 10.3.22.9, mas mesmo assim não mostrou o MAC Address, mas quando executo isoladamente o comando nbtscam ele á esse MAC Address normalmente, só no nmap que não.

Alguém sabe como resolver isso?

desde já agradeço...

paulo1205
(usa Ubuntu)

Enviado em 05/03/2015 - 08:44h

O nmap não lhe dá o endereço da sua própria interface porque ele nunca vai parar na tabela de ARP, uma vez que o sistema não precisa de ARP para saber seu próprio endereço.

Você pode tentar o seguinte comando para obter alguns endereços físicos da sua máquina num formato mais ou menos parsável.

ifconfig -a | awk '/^[^ ]/ { ifname=$1; mac=$NF } /inet addr:([0-9.]+)/ { print ifname, substr($2, 6), mac }' 

Aqui, por exemplo, ele mostra a seguinte saída.

eth0 10.xx.xxx.xxx xx:xx:xx:xx:xx:xx

lo 127.0.0.1 Loopback

virbr0 192.168.122.1 f2:61:09:40:e4:fc 

luizcarlos18rj
(usa Suse)

Enviado em 25/03/2015 - 16:27h

para resolver o problema do ip da minha própria máquina ( que acerscentava uma linha a mais na coluna deixando todas as outras "descasadas" ) tive que forçadamente add a linha:

grep -v serverbkp /root/IP_REDE/faixa_$faixa_rede/a_nmap.txt > /root/IP_REDE/faixa_$faixa_rede/a_nmap2.txt

de modo que após isso as colunas "casaram" e o script ficou a contento e era isso mesmo que eu queria.

Muito obrigado pela colaboração de todos, e aprendi muito...