该平台可以用来爬取任意网页的数据, 网页全屏截图(网页快照), 并对爬取到的数据进行管理, 操作等.开发者也可以自行进行扩展, 作为爬虫管理平台的基础服务.
- 前端采用umi集成开发环境, 框架选用react+antd;
- 后端采用nodejs + koa, 爬虫框架采用Apify;
- node多进程开发模式
-
Notifications
You must be signed in to change notification settings - Fork 16
基于Apify+node+react搭建的有点意思的爬虫平台
License
MrXujiang/crawel
Folders and files
| Name | Name | Last commit message | Last commit date | |
|---|---|---|---|---|
Repository files navigation
About
基于Apify+node+react搭建的有点意思的爬虫平台
Topics
Resources
License
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published