Remover Linhas repetidas

Salve comunidade, gostaria de saber se há uma forma de remover linhas retidas de uma lista, exemplo, tenho um cadastro de newsletter em meu site, mas não tem validação de e-mail já cadastrados, de alguma forma alguns usuários acabem inserindo seu e-mail mais de uma vez nesta lista, e eu gostaria de um script para remover estas linhas com cadastros repetidos. Obrigado

cat arquivo | sort | uniq -u > saída.txt

Onde:

cat: Abre o arquivo
sort: Ordena seqüencialmelte as linhas duplicadas
uniq: Com a opção '-u' suprime as linhas duplicadas

Ex.:
$ cat arquivo
linha a
linha b
linha a
linha c
linha d
linha c

$ cat arquivo | sort | uniq -u > saida.txt

$ cat saida.txt
linha a
linha b
linha c
linha d

ola caro amigo, já havia testado este comando antes o meus não havia dado certo, não sei qual o motivo mas o comando não deu certo.

Poderia postar um exemplo desse arquivo de cadastro?

a dica do SMarcell está certa! deveria ter funcionado.

Esse comando ai não da certo nao MArcell, ao inves de ele excluir o que repete, ele exclui tudo e só deixa a salvo aquilo que nunca se repetil, ou seja, se eu tenho duas linhas com o mesmo conteudo ele acaba excluindo as duas (lol)..
e agora??? teriam uma idéia de como contornar isso?
obrigado..

Tenta tirar o parâmetro -u do uniq

exatamente!
Ja tinha feito isso ontem, mesmo assim brigadão

Funcionou, beleza. Meus parabéns por pesquisar antes de perguntar, já que você desenterrou um tópico de 2008 que não havia sido satisfatoriamente resolvido na época.

O comando acima além de estar ERRADO, tem coisas demais.
É desnecessário o cat e não deve ser usado a opção -u
Use assim:

sort arquivo.txt | uniq > saida.txt 

Ou AINDA MELHOR assim:

sort -u arquivo.txt -o saida.txt