Download de arquivos

pylm
(usa Gentoo)

Enviado em 27/04/2020 - 23:52h

Nesse link tem uma série de arquivos zip:

http://dados.cvm.gov.br/dados/CIA_ABERTA/DOC/DFP/BPA/DADOS/

Como eu poderia fazer para realizar o download deles?

Kaliglitcher
(usa Kali)

Enviado em 28/04/2020 - 01:02h

para baixar use wget link && wget link e assim vai se quiser seleciona onde vai salvar use wget link -O diretorio
para descompactar
unzip *.zip
vc tem q tar na pasta pelo terminal
se quiser fazer isso ccom interface va na pasta sem o terminal e selecione o primeiro segure alt e selecione o ultimo
espero q ajude
nesse caso use esse codigo
sudo wget http://dados.cvm.gov.br/dados/CIA_ABERTA/DOC/DFP/BPA/DADOS/bpa_cia_aberta_2010.zip && wget http://dados.cvm.gov.br/dados/CIA_ABERTA/DOC/DFP/BPA/DADOS/bpa_cia_aberta_2011.zip && wget http://dados.cvm.gov.br/dados/CIA_ABERTA/DOC/DFP/BPA/DADOS/bpa_cia_aberta_2012.zip && wget http://dados.cvm.gov.br/dados/CIA_ABERTA/DOC/DFP/BPA/DADOS/bpa_cia_aberta_2013.zip && wget http://dados.cvm.gov.br/dados/CIA_ABERTA/DOC/DFP/BPA/DADOS/bpa_cia_aberta_2014.zip &&
wget http://dados.cvm.gov.br/dados/CIA_ABERTA/DOC/DFP/BPA/DADOS/bpa_cia_aberta_2015.zip &&
wget http://dados.cvm.gov.br/dados/CIA_ABERTA/DOC/DFP/BPA/DADOS/bpa_cia_aberta_2016.zip &&
wget http://dados.cvm.gov.br/dados/CIA_ABERTA/DOC/DFP/BPA/DADOS/bpa_cia_aberta_2017.zip && wget http://dados.cvm.gov.br/dados/CIA_ABERTA/DOC/DFP/BPA/DADOS/bpa_cia_aberta_2018.zip && wget http://dados.cvm.gov.br/dados/CIA_ABERTA/DOC/DFP/BPA/DADOS/bpa_cia_aberta_2019.zip
para descompactar
sudo unzip *.zip
confirme os downloads

pylm
(usa Gentoo)

Enviado em 28/04/2020 - 01:53h

... a gente tá no comunidade python.

Acabei fazendo o seguinte:

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

from lxml import html
import requests

bpa_url = 'http://dados.cvm.gov.br/dados/CIA_ABERTA/DOC/DFP/BPA/DADOS/'
bpa_page = requests.get(bpa_url)
bpa_html = html.fromstring(bpa_page.content)

# Itera sobre todos os links da página, seleciona os que possuem '.zip', baixa e salva num arquivo em disco 
for i in bpa_html.xpath('//a/@href'):
    if '.zip' in i:
        with open(i, 'wb') as bpa:
            bpa_file = requests.get(f'{bpa_url}/{i}')
            bpa.write(bpa_file.content)
 

ricardogroetaers
(usa Linux Mint)

Enviado em 28/04/2020 - 01:59h

Pode fazer com o navegador web, clicando em cada arquivo. Afinal não são muitos arquivos.

Opcionalmente, como o nome dos arquivos tem uma sequencia numérica lógica, podemos usar o comando "wget", assim:
wget http://dados.cvm.gov.br/dados/CIA_ABERTA/DOC/DFP/BPA/DADOS/bpa_cia_aberta_{2010..2019}.zip
Os arquivos .zip serão baixados para a pasta na qual estamos posicionados no terminal.

fabio
(usa Debian)

Enviado em 28/04/2020 - 02:13h

Acredito que o pylm queira fazer essa operação usando Python. Rabisquei um código aqui, ficou meio grande mas acredito estar simples de se entender:

from bs4 import BeautifulSoup
import requests

url = "http://dados.cvm.gov.br/dados/CIA_ABERTA/DOC/DFP/BPA/DADOS/"
r  = requests.get(url)
soup = BeautifulSoup(r.text, "html.parser")

#filtrar os links da pagina
for link in soup.find_all('a'):

    filename = link.get('href')

    #filtrar apenas extensao zip
    if 'zip' in filename:

        #construir a url completa
        source = url + filename

        #baixar o arquivo
        r2 = requests.get(source)

        #gravar o arquivo
        open(filename, 'wb').write(r2.content)
        
        print(filename + ' salvo')
 

Kaliglitcher
(usa Kali)

Enviado em 28/04/2020 - 09:51h

nem vi kkkkk

Kaliglitcher
(usa Kali)

Enviado em 28/04/2020 - 09:52h

mais vc pode usar a biblioteca os para dar um os.command("comando do terminal para baixar")