Remover todas as quebras de linhas de apenas uma coluna de um arquivo csv [RESOLVIDO]

ThyagoKaos
(usa Fedora)

Enviado em 06/03/2017 - 17:43h

E ai galera.

Então eu to precisando de uma ajuda, tenho um arquivo csv com mais de 500k de linhas e preciso remover as quebras de linhas de apenas uma coluna de maneira eficiente e excluir todos os links que contem nele, um trecho do arquivo:

"created_at","text","location","name","screen_name","followers_count","friends_count"
"2016-09-17T21:48:10.000Z","MAIS UM CLIENTE REVIVALL #Eleições #Vereador #BH

VÍDEO MARKETING - Solicite uma Proposta Revivall Marketing:... https://t.co/d7qDOguDoA","Belo Horizonte","Objetivo Comunicação","ObjeCom",15,0
"2016-09-17T23:05:01.000Z","Não ia votar no Kalil não. Mas diante de tanta sacanagem nas propagandas políticas meu voto agora é dele. Fazer raiva nas MARIAS.","Belo Horizonte","LEONARDO BARBOSA","LEO_BEAGALO",113,282
"2016-09-17T23:26:10.000Z","RT @brnou3: nossa candidato que legal várias pessoas na rua balançando uma bandeira com seu nome isso conquistou meu voto

disse nenhuma pe…","Belo Horizonte","Júlia","julinhasr",589,306


Tem que ficar assim:

"created_at","text","location","name","screen_name","followers_count","friends_count"
"2016-09-17T21:48:10.000Z","MAIS UM CLIENTE REVIVALL #Eleições #Vereador #BH VÍDEO MARKETING - Solicite uma Proposta Revivall Marketing:... ","Belo Horizonte","Objetivo Comunicação","ObjeCom",15,0
"2016-09-17T23:05:01.000Z","Não ia votar no Kalil não. Mas diante de tanta sacanagem nas propagandas políticas meu voto agora é dele. Fazer raiva nas MARIAS.","Belo Horizonte","LEONARDO BARBOSA","LEO_BEAGALO",113,282
"2016-09-17T23:26:10.000Z","RT @brnou3: nossa candidato que legal várias pessoas na rua balançando uma bandeira com seu nome isso conquistou meu voto disse nenhuma pe…","Belo Horizonte","Júlia","julinhasr",589,306

Vocês podem me ajudar?
Valeu pessoal!

ThyagoKaos
(usa Fedora)

Enviado em 07/03/2017 - 17:22h

Consegui galera, segue ai o comando:

sed ':a;N;s/\n/ /;ta' ARQUIVO_ENTRADA | sed -r 's/(\w+\s+){2}[0-9]+\s+([0-9]+:){2}[0-9]+/\n&/g' | sed 1d | sed -r 's/\s#+https?:\/\/[0-9a-z_+%@:./-]+/ /Ig' >> ARQUIVO_SAIDA