Web scrapping para pegar dados do mercado livre. É bem simples e direto, fácil de modificar para coletar mais dados.
No main.py definimos um link de pesquisa como exemplo. Esse link é padrão do mercado livre para qualquer pesquisa.
Com isso em mente, nos procuramos nesse link os links de todos os produtos na página atual. Coletamos os dados da página atual e vamos para a página seguinte até que não exista mais páginas. Salvamos esses links num arquivo.
Agora vem a parte de acessar os links para pegarmos os dados dos items. Fazemos isso e em seguida, criamos um arquivo excel e adicionamos os dados encontrados do item na tabela.
Esse é apenas um software de prova de conceito, é possível fazer otimizações nisso. Como? bom, a página do mercado livre não é totalmente dinãmica, cada "next_page" tem seu próprio link, logo não é recarregado dentro da própria página. Então, poderiamos fazer um script para pegar esses links e utilizar o beatifulsoup para percorrer elas. Isso otimizaria pois não precisariamos utilizar o selenium nesse projeto. Eu apenas adicionei o selenium apenas como demonstração.
Basta ter o pip instalado, com isso, é necessário apenas instalar as seguintes bibliotecas:
-
pip install openpyxl
-
pip install selenium
-
pip install requests
-
pip install beautifulsoup4