scrapy爬取豆瓣选电影页面的信息

安装

git clone https://github.com/luojunhui/doubanmovie.git
cd doubanmovie
virtualenv -p python3 .venv,source .venv/bin/activate
pip install -r requirements.txt

运行

scrapy crawl douban -o movie.json

查看数据

cat movie.json