Este proyecto utiliza Scrapy y MongoDB Atlas para realizar el proceso de ETL para el proyecto de Business Intelliegence sobre los anuncios de inmuebles en Clasificados de Los Tiempos.
- Python 3.x
- Scrapy
- pymongo
- MongoDB Atlas
-
Clona este repositorio:
git clone https://github.com/dotM87/los-tiempos-bi-bd-i-2024.git
-
Instala las dependencias:
pip install -r requirements.txt
-
Ejecuta el spider de Scrapy para realizar el web scraping:
scrapy crawl -s MONGODB_URI="mongodb+srv://<usuario>:<contraseña>@cluster0.ztxjdbr.mongodb.net/" -s MONGODB_DATABASE="att" clasificados_spider
-
Los datos extraídos se almacenarán en la base de datos de MongoDB.
Este proyecto está bajo la Licencia MIT. Consulta el archivo LICENSE para más detalles.