Repositório criado como projeto final das disciplinas "Pensamento computacional" e "Transparência, reprodutibilidade e uso ético dos dados", no master do Insper. Este repositório tem como objetivo raspar dados de votações nominais do portal da Câmara dos Deputados.
Gabriela Caesar
Alvaro Justen (Turicas), Bernardo Vianna e Cristina Caesar
Setembro e outubro de 2021
11/10/2021
- Recebe a data de início e fim da pesquisa e a paginação máxima
- Gera URLs considerando esses dados
- Acessa os HTMLs dessa pesquisa por atividades no plenário (Clique aqui para ver o exemplo de URL)
- Coleta os links de cada atividade no plenário
- Filtra por sessões deliberativas (aquelas que têm votações)
- Acessa os HTMLs de todas as sessões deliberativas (Clique aqui para ver o exemplo de URL)
- Coleta o id das votações de cada sessão deliberativa
- Cria URLs específicas para cada votação
- Filtra por votações nominais (aquelas que mostram o voto de cada político)
- Acessa os HTMLs de todas as votações nominais (Clique aqui para ver o exemplo de URL)
- Coleta os dados das votações nominais
- Cria um CSV com os votos de todos os deputados nas votações
-
Script 1: cd_periodo.py // definir_data()
O código considera os parâmetros informados pelo usuário (data de início, data de fim e paginação máxima) para gerar as URLs a serem percorridas. Este HTML a ser raspado passou a ser gerado pela Câmara a partir de 2020 - e, portanto, aconselha-se a escolha por datas a partir deste período. Para datas anteriores, aconselha-se o uso dos arquivos DBFs, mencionados também no tópico "Por que raspamos o site da Câmara". Output (arquivo gerado):url_list.csv -
Script 2: cd_evento.py // coletar_eventos()
O código acessa cada URL e coleta os seguintes dados: data, hora, local, nome do evento e link do evento. Ele coloca tais dados em um dicionário e o transforma em um dataframe para fazer o download em CSV. Output (arquivo gerado):urls_eventos_plenario.csv -
Script 3: cd_filtro.py // filtrar_deliberativa()
O código padroniza a coluna 'atividade e filtra considerando as colunas 'atividade' e 'link'. O objetivo é manter apenas votações deliberativas da Câmara dos Deputados. Output esperado (arquivo gerado):url_votacao.csv -
Script 4: cd_votacao.py // pegar_id_votacao()
O código acessa cada URL e coleta o id do menu dropdown de cada votação. Output esperado (arquivo gerado):id_votacoes.csv -
Script 5: cd_links.py // definir_link_nominal()
O código gera as URLs únicas de cada votação e filtra por votações nominais. Output esperado (arquivo gerado):urls_finais.csv -
Script 6: cd_votos.py // coletar_votos()
O código acessa cada URL e coleta os dados de cada votação nominal: nome do deputado, partido do deputado, UF do deputado e voto. Casa não haja voto, o robô coloca "Ausente". Output esperado (arquivo gerado):dados_finais.csv -
Script 7: script-final.py
O código chama todas as funções acima mencionadas e informa os parâmetros da função definir_data() do script cd_periodo. Por padrão, o script define que o período é de 01/02/2020 a 01/07/2020 com paginação máxima de 7. Output esperado (arquivo gerado): todos os CSVs citados anteriormente.
dados_finais.csv
| Variável | Definição |
|---|---|
| nome | Nome do deputado |
| partido | Partido do deputado |
| voto | Voto do deputado |
| link | Link da votação nominal |
- Verifique se você tem o Python na sua máquina. Caso negativo, instale-o.
- Faça o download do repositório na sua máquina
- Defina o período das votações e a paginação máxima no arquivo
script-final.py - No terminal, rode o arquivo
script-final.py, que chama todas as funções
- A escolha por
Seleniumocorreu porque eu acredito que esta é uma das vantagens em usar Python - E, por isso, gostaria de ganhar mais fluência ao usar essa biblioteca
- Mas também usamos
Beautiful Souperequests - Ao desenvolver os scripts com
rvestno R, a Câmara passou a atrapalhar o acesso da máquina comHTTP ERROR 431 - Posteriormente, foi encontrada uma forma de driblar o problema
- Mas, ainda assim, havia um interesse em mexer com a automatização de browser, com
Selenium
- Hoje, a API da Câmara não informa os deputados ausentes nas votações nominais
- Apenas para comparar: a API do Senado informa os ausentes
- Tal demanda já foi apresentada como sugestão administrativa via Lei de Acesso à Informação para a Câmara
- Também foi reforçada, com apoio de outro usuário, via issue no GitHub e já havia sido cobrada por outras pessoas antes
- Para ter o resultado nominal com todos os deputados em exercício, hoje é necessário raspar o HTML da Casa (exemplo aqui) ou baixar um arquivo DBF
- Os arquivos DBF, porém, pararam de ser atualizados em determinado momento da pandemia, com a adoção do modelo de votação virtual
- Sem essa funcionalidade na API, a obtenção desses dados se torna mais manual e custosa
- O objetivo desses scripts é automatizar o acesso aos dados completos (ou seja, com os ausentes) das votações nominais
Trabalho individual. Professor da disciplina: Alvaro Justen (Turicas)
Objetivo: criar um programa que executa um processo de ETL - Extract, Transform, Load. Essas 3 etapas são a base para programas que lidam com dados e são encontradas em diversos tipos de programas, exemplos:
- EXTRACT: acessa um determinado site, identifica e extrai do HTML apenas dados de interesse.
- TRASNFORM: faz alguma limpeza nos dados extraídos.
- LOAD: salva os dados extraídos em uma planilha.
- EXTRACT: abre uma planilha disponibilizada pelo usuário.
- TRANSFORMA: manipula a planilha, limpando dados e/ou fazendo análises.
- LOAD: salva o resultado em um banco de dados.
Você não precisa se limitar aos exemplos acima, desde que existam essas etapas em seu programa.
O programa deve resolver um problema prático do dia-a-dia jornalístico, porém não é necessário que ele execute todo o processo de automação (exemplo: caso você queria coletar uma informação, limpá-la, gerar uma planilha e enviá-la por email, a parte de envio por email não precisa fazer parte do trabalho).
Bibliotecas que não foram vistas durante a disciplina podem ser utilizadas (porém você precisará explicar para que serve e por que a utilizou).
Dica: crie funções para separar as etapas de seu programa e, caso seja útil, crie uma classe com métodos que executam as etapas ETL.
- O código deverá ser enviado pelo Blackboard
- A apresentação do trabalho será feita na aula do dia 08/10/2021 e deverá durar de 3 a 5 minutos, consistindo de:
- Explicação do problema/objetivo do programa
- Mostrar principais partes do código e motivação pelas decisões tomadas (por que criou/não criou funções, por que usou as bibliotecs que usou etc.)
- A entrega final será até dia 11/10/2021, porém o envio até a aula do dia 08/10 é encorajado, pois conseguiremos ver a evolução do trabalho. Se o trabalho não for apresentado em aula, o aluno precisará gravar vídeo de 10 minutos com a explicação detalhada (mais detalhada do que seria em aula, explicando linha-a-linha do código).