Colunas repetidas

mocado
(usa Outra)

Enviado em 15/04/2009 - 11:54h

Tenho um arquivo com várias linhas e 5 colunas, sendo que 2 se repetem e as outras não.
Usando o uniq -u eu consigo apagar as linhas iguaias, mas mesmo assim eu ainda tenho as 2 primeiras colunas iguais, as quais eu queria apagar uma delas, como faço ? Veja abaixo

123,456,a,b,c
123,456,f,g,c
123,56,a,b,c
123,676,a,b,c
123,676,a,b,c
123,676,a,b,c

A linha 1 e 2 tem as 2 primeiras colunas iguais, mesmo para o uniq elas não são linhas iguais. Preciso que quando eu tenha as 2 primeiras colunas iguais eu apague uma mas linhas. Já tentei usar o cut e o awk mas não obtive sucesso, porque com o cut eu apenas corto as duas colunas e consigo usar o uniq, mas no rsultado final so me aperecem 2 colunas e não as 5. Com o awk da mesma forma.

Como faço para resolver isso, algúem tem alguma idéia ?

fdmarp
(usa Debian)

Enviado em 24/04/2009 - 19:45h

Cara, essa não deve ser a melhor forma de fazer, mas ... deve funcionar.
Uma vez solucionado o problema, depois a gente melhora.

mude <arquivo_de_entrada> pelo nome de seu arquivo e ... boa sorte.

-----



#Srcipt 001
calcula1 ()
{
if [ "$LControle2" -ne "$Linha2" ]; then
echo "$line"
fi

}

calcula ()
{
Linha1=`echo $line | cut -d , -f 1`
Linha2=`echo $line | cut -d , -f 2`
if [ "$LControle1" -eq "$Linha1" ]; then
calcula1
else
echo $line
fi
LControle1="$Linha1"
LControle2="$Linha2"
}

#LControle1="0"
#LControle2="0"
while read line
do
calcula

done < <arquivo_de_entrada>

thuck
(usa Debian)

Enviado em 26/04/2009 - 15:47h

Creio que isso deva resolver.

thuck@thuck:~/teste$ cat a
123,456,a,b,c
123,456,f,g,c
123,56,a,b,c
123,676,a,b,c
123,676,a,b,c
123,676,a,b,c
thuck@thuck:~/teste$ sort -u a |awk -F, '{print $3" "$4" "$5" "$1" "$2}'|uniq -f 3 |awk '{print $4","$5","$1","$2","$3}'
123,456,a,b,c
123,56,a,b,c
123,676,a,b,c