A gestão eficiente de dados é essencial para o sucesso das organizações modernas. A Super Store, líder em seu setor, enfrenta desafios ao lidar com grandes volumes de dados dispersos e desestruturados. Para melhorar a tomada de decisões e otimizar a gestão dessas informações, este projeto propõe a criação de um sistema ETL (Extract, Transform, Load) com tabelas de fatos e dimensões.
- Extrair dados de diversas fontes (devido à ausência de bancos de dados externos, foi realizado web scraping).
- Transformar os dados para estruturar tabelas de fatos e dimensões.
- Carregar os dados em um formato organizado para facilitar a análise.
- Identificar padrões, tendências e oportunidades de mercado a partir da análise dos dados extraídos.
- Avaliar os benefícios, custos e riscos associados à implementação de um sistema ETL completo.
- Linguagens: Python
- Bibliotecas Principais: Pandas, BeautifulSoup, sqllite3
- Armazenamento: CSV
- Ferramentas de Análise: Jupyter Notebook (Google Colab) e Power BI
- Coleta de Dados: Como não havia acesso a bancos de dados externos, utilizamos web scraping para obter os dados necessários.
- Transformação dos Dados: Limpeza, padronização e estruturação dos dados em tabelas de fatos e dimensões.
- Análise dos Dados: Exploração dos dados para identificar insights relevantes.
- Visualização: Geração de relatórios e dashboards para melhor interpretação dos resultados.
- Falta de um banco de dados estruturado para extração direta.
- Necessidade de utilizar web scraping para obter os dados.
- Construção manual de tabelas de fatos e dimensões a partir das informações coletadas.
Apesar das limitações encontradas, o projeto demonstrou a importância de um sistema bem estruturado para a gestão de dados. O uso de web scraping, tabelas de fatos e dimensões possibilitou uma análise mais organizada das informações da Super Store. No futuro, uma implementação completa de um sistema ETL poderia aprimorar ainda mais a gestão de dados e a tomada de decisão da empresa.
