Skip to content

使用Scrapy从招聘网站上抓取数据,并使用Pandas分析

Notifications You must be signed in to change notification settings

lxyangfan/job_analyser

Repository files navigation

说明

抓取猎聘网关于“数据 分析 上海”的相关职位,并做简单分析。

环境要求

本人使用 Anaconda2的环境, 使用pip安装了Scrapy 1.4.0

Python 2.7.14 :: Anaconda, Inc.
Scrapy 1.4.0

基本操作

抓取数据,直接运行:

python run.py

数据会保存在目录data下,当天日期命名的csv。

或者

scrapy crawl jb -o data.csv

更多信息

参见我的博客介绍:Python爬虫之Scrapy上手指南

可视化结果

工具的要求

工作内容关键词

About

使用Scrapy从招聘网站上抓取数据,并使用Pandas分析

Topics

Resources

Stars

Watchers

Forks

Packages

No packages published