Usando o wget

É possível baixar sites inteiros com o wget:

# wget -r www.ositequesequerbaixar.dominio

Vale lembrar que isso vai baixar apenas os arquivos linkados nas páginas do site. Arquivos sem referência alguma não são passíveis de visualização.

Se você estava baixando alguma coisa via linha de comando com um

# wget www.origem.dominio/arquivo

e, de repente, o download parou, é possível continuar com:

# wget -c www.origem.dominio/arquivo

É possível também criar uma lista de links em um arquivo e pedir pro wget usá-la como arquivo de entrada:

# wget -f file

Para forçar o arquivo de entrada a ser tratado como um arquivo HTML, use o -F:

# wget -fF file

Asim, você poderia criar uma lista de sites interessantes e baixá-los todos de uma vez, ou criar uma lista de arquivos a serem baixados (seqüencialmente) e fazer o mesmo com eles.

O wget costuma enviar muita saída de texto, quem o usa em scripts normalmente não deseja este inconveniente. Logo, o melhor seria usar o wget desta maneira:

# wget -nv [outras opções] [links]

Assim, o wget só envia para tela mensagens onde ele avisa que um dado arquivo foi baixado com sucesso.

Para colocar o wget no segundo plano, sem o "&", faça o seguinte:

# wget -b

Existem muitas outras coisas legais pra se fazer com o wget, basta ter paciência de ler os "man"s do Unix.