基于b2b.10086.cn，提供数据爬取和展示功能
以docker-compose方式，集成了scrapy、flask、xunsearch、mongo等组件
- 生产机下载clone源代码
git clone xxxx，并改名为/app - 新建
/cmdata数据目录，启动后自动创建子目录db/，xunsearch/,download/ - 启动主程序
docker-compose up -d --build，可以通过http://localhost:8080提供基础功能 - 如果生产环境部署完成，浏览器远程访问<www.caogo.cn>
forester
├── .env // docker-compose默认的环境配置文件
├── .gitignore
├── docker-compose.yml // 本项目的构造文件，启动方式`docker-compuse up -d --build`
├── proxy/ // 站点主入口，分别反向代理至scrapy、flask、xunsearch
├── flask/ // 前端Flask应用镜像，运行环境集成了uWSGI，其中`app/`存放python应用
├── log/ // 集中管理syslog，集成镜像直接借用了goharbor/log:1.9.0
├── scrapy/ // 后台Scrapy应用镜像，运行环境集成了scrapyd，其中`app/`存放python应用
├── xunsearch/ // 中文搜索引擎，运行环境包括后台server和前台php，其中`app/`存放php应用
├── cronjobs/ // 后台定时任务调度，为scrapy提供服务，运行环境集成了docker for docker
├── wait-for-ip.sh // 检测IP端口是否avaliable的shell脚本
├── wait-for-mongo.py // 检测Mongo DB是否ready的python脚本
├── LICENSE
├── CHANGELOG.md // 记录版本更新的文档
├── DEPLOYMENT.md // 生产环境安装部署方式的文档
├── NOTES.md // 技术开发过程中的一些经验和技巧
└── README.md // 本文件
- docker==13
- docker-compose>=3.2
- python==3.6
- mongo==3.6
- Pymongo 3.6
- Mongo Shell Vs Scripts
- MongoEngine
- Mongo Engine 官方文档
- Flask Mongo Engine 官方文档
- Mongo Shell
- Pymongo/3.6
- flask中文资料
- flask官方网站
- jinja2官方文档
- werkzeug官方文档
- Flask Extension
- Pyecharts的官方文档
- Pyecharts的Github主页
- Gunicorn Document