Skip to content

Faz raspagem de dados em um blog de tecnologia e salva as notícias obtidas em um banco de dados. Utiliza Python, MongoDB e Docker.

Notifications You must be signed in to change notification settings

trkotovicz/web-crawling-py

Repository files navigation

Web Crawling - Python

O projeto tem como principal objetivo fazer consultas em notícias sobre tecnologia.
As notícias são obtidas através da raspagem de dados no Blog da Trybe.

Essas notícias são salvas no banco de dados chamado tech_news, utilizando o MongoDB.

📟 Executando o Projeto

Para executar o projeto, você precisará ter rodando o banco de dados MongoDB.


MongoDB via Docker 🐳

No terminal, rode o comando:

docker-compose up -d mongodb

Para mais detalhes acerca do mongo com o docker, olhe o arquivo docker-compose.yml.


Caso queira instalar e rodar o servidor MongoDB nativo na máquina, siga as instruções no tutorial oficial:

Lembre-se de que o mongoDB utilizará por padrão a porta 27017. Se já houver outro serviço utilizando esta porta, considere desativá-lo.


💻 Ambiente Virtual

O Python oferece um recurso chamado de ambiente virtual, onde permite sua máquina rodar sem conflitos, diferentes tipos de projetos com diferentes versões de bibliotecas.

Criar o ambiente virtual

$ python3 -m venv .venv

Ativar o ambiente virtual

$ source .venv/bin/activate

Instalar as dependências no ambiente virtual

$ python3 -m pip install -r dev-requirements.txt

Com o seu ambiente virtual ativo, as dependências serão instaladas neste ambiente. Quando precisar desativar o ambiente virtual, execute o comando "deactivate".

O arquivo dev-requirements.txt contém todas as dependências que serão utilizadas no projeto.


Habilidades desenvolvidas:

Utilizar o terminal interativo do Python;
Escrever meus próprios módulos e importá-los em outros códigos;
Aplicar técnicas de raspagem de dados;
Extrair dados de conteúdo HTML;
Armazenar os dados obtidos em um banco de dados;



Projeto desenvolvido por Thais R Kotovicz.

About

Faz raspagem de dados em um blog de tecnologia e salva as notícias obtidas em um banco de dados. Utiliza Python, MongoDB e Docker.

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published