Pular para o conteúdo

Script usando comando Wget com lista .txt [RESOLVIDO]

Responder tópico
  • Denunciar
  • Indicar

1. Script usando comando Wget com lista .txt [RESOLVIDO]

Enviado em 04/10/2013 - 16:40h

preciso criar um shell script que faça a leitura de url concatenando com uma lista de url para usar o comando wget

exemplo:

wget http:/www.site.com/+url da lista vinda do arquivo lista.txt

e após efetuar esse comando espere 30 segundos e passe para a proxima url da lista
e assim por diante

minha principal dúvida e mais a se o arquivo inteiro será carregado na memória ou ele fara a leitura da linha em questão na ordem conforme o uso

Responder tópico

2. Re: Script usando comando Wget com lista .txt [RESOLVIDO]

Melhor resposta

Enviado em 04/10/2013 - 18:30h

Depende da forma que você fizer ele fica inteiro na memória ou não...

Não precisaria de script, basta um comando:

wget --base=http://www.site.com/ --input-file=lista.txt --wait=30


Nada que 30 segundos lendo as manpages não resolvesse

man wget


Agora se quiser um script poderia ser assim:

exec 3< lista.txt; while read url <&3; do wget -c "http://www.site.com/$url";; sleep 30; done; exec 3<&-


3. Re: Script usando comando Wget com lista .txt [RESOLVIDO]

Enviado em 04/10/2013 - 18:46h

phoemur escreveu:

Depende da forma que você fizer ele fica inteiro na memória ou não...

Não precisaria de script, basta um comando:

wget --base=http://www.site.com/ --input-file=lista.txt --wait=30


Nada que 30 segundos lendo as manpages não resolvesse

man wget


Agora se quiser um script poderia ser assim:

exec 3< lista.txt; while read url <&3; do wget -c "http://www.site.com/$url";; sleep 30; done; exec 3<&-



Phoemur sensacional era isso vou fazer uns testes para ver qual atende o que preciso mais você entendeu bem o que queria obrigado

4. Re: Script usando comando Wget com lista .txt [RESOLVIDO]

Enviado em 07/10/2013 - 10:02h

Marque o tópico como resolvido se a sua dúvida foi atendida! :-)

5. Re: Script usando comando Wget com lista .txt [RESOLVIDO]

Enviado em 07/10/2013 - 10:16h

Se for um endereço por linha no .txt, funciona também
 $ for i in `cat arquivo.txt` ; do wget opções "$i" ; done 

6. Re: Script usando comando Wget com lista .txt [RESOLVIDO]

Enviado em 07/10/2013 - 17:45h

Um link por linha:


xargs -L1 -i wget {} < lista.txt


Linux é legal por isso, mil jeitos de fazer a mesma coisa... Pra todos os níveis de conhecimento...

Responder tópico

Responder tópico

Entre na sua conta para responder.

Fazer login para responder