Web-Crawler

网络爬虫基础到进阶学习

目录

1.Bs4解析

01.介绍 BeautifulSoup（现已内嵌到bs4库下面）的用法，实例爬取的是北京新发地的蔬菜价格，并且进行可持久化存储（csv文件），网页蔬菜的价格主要以表格的形式表现，首先获取表格的源代码，先找到每行，在遍历每一列即可。

目标网址：http://www.xinfadi.com.cn/marketanalysis/0/list/1.shtml

02.爬取优美图库的相关联的照片，进行可视化存储。

目标网址：https://www.umei.cc/bizhitupian/weimeibizhi/

2.Xpath解析

采用 lxml 库下面的 etree 进行提取猪八戒网站，提取相关的价格，目标标题，名字。

目标网址：https://jinzhou.zbj.com/search/f/?type=new&kw=saas

3.综合训练

目标分析：综合练习爬取网易云音乐的评论。

相关介绍：

1.网易云音乐的评论在源代码里面看不到，因为是 json 阿贾克斯请求，必须导入 json 包进行提取。

2.通过 Chrome 浏览器开发者工具的分析，发现评论信息以被加密，必须进行解密。

需要导入 AES 进行解析。

from Crypto.Cipher import AES

3.最后提取相关评论，进行可视化存储。

目标网址：https://music.163.com （任意网易云音乐的评论即可）

4.多线程

01.在单线程的状态下，爬取相关的网站数据缓慢，在本节项目下使用多线程 ThreadPoolExecutor 模块进行高效率爬取北京新发地的菜价（对照BS4 01项目），首先对蔬菜价格进行提取，然后创建线程池，将任务传送给线程池，最后将数据写入 csv 文件，进行可视化存储。

目标网址：http://www.xinfadi.com.cn/marketanalysis/0/list/1.shtml （页码1换成 i 进行遍历，可以获取多个网页）。

02.协程练习：协程是当任务阻塞的情况下，会自动的切换成未阻塞的任务上。在宏观上是多任务一起在执行，在微观上是看是一个任务一个任务在切换。

03.协程：asyncio 操作, asyncio.run 一次开启多个任务，任务的执行效率很高。

04.异步操作 模块：aiohttp。项目目标：采用异步操作进行爬取多张图片。

思路分析： 1 发送请求 2 得到图片的内容 3 保存到文件。

目标网址：http://kr.shanghai-jiuxin.com/file/2020/1031/small774218be86d832f359637ab120eba52d.jpg 等三张图片，采用异步操作来下载图片。

05.异步协程实战：爬取百度小说-西游记，这里使用同步请求与异步请求相结合的方式，

相关介绍：

1 请求小说的章节和标题只需要请求一次即可，得到所有标签的 cid 采用同步请求即可 requests 模块。

2 获取文章的具体内容，采用异步的操作。

目标网址：http://dushu.baidu.com/pc/detail?gid=4306063500

06.异步爬取视频实战，为91网站搜索的相关视频。

项目的相关流程为：

1.拿到网页的源代码。

2.从网页的源代码提取到 M3U8 的url。

3.下载网页的 M3U8。

4.读取M3U8文件，下载视频。

5.合并视频（使用各种手段即可，不仅仅是编程手段：主要是使用软件将片段视频合并成一个整体的视频）。

目标网址：https://www.91kanju.com/vod-play/54812-1-1.html

5.Selenium 浏览器模拟

01.selenium 引入介绍：

浏览器的驱动：网址：https://npm.taobao.org/mirrors/chromedriver 默认情况下是谷歌浏览器（根据自己浏览器的版本进行下载，如果没有可以下载上一个版本，把解压好的文件复制到python 文件夹下即可。

目标网址：https://www.endata.com.cn/BoxOffice/BO/Year/index.html

02.Selenium 的各种操作

目标流程：

1.找到某个元素点击它，这里选用的是xpath。（这里找到的是进去页面看见全国）

2.找到搜索框，并在搜索框里面搜索python （有2种方法 直接回车/找到搜索按钮就可以）

time.sleep(2) 让浏览器缓一会 可能报错，假如为阿贾克斯请求的话，页面是局部刷新的，让浏览器等一会。

3.数据的爬取，最后进行数据的可视化存储。

目标网址：http://www.lagou.com

03.窗口之间的切换

相关流程：

1.使用 Selenium 模块进行浏览器的模拟登录相关的网页。

2.进入网页进行相关信息的提取。（同样子，希望网页不会瞬间的跳转，需要对程序进行睡眠的操作 time.sleep(2)）

3.在 Selenium 眼中默认的网址还是原来那个，并不会切换到现在打开的新的网页的地址，所以要进行窗口的切换。

目标网址：http://www.lagou.com

04.无头浏览器

无头浏览器相关介绍：让浏览器在后台自己默默的运行即可，最后只是返回数据，不让浏览器进行运作。

注意：配置文件是万年不变的代码，不用刻意去记录相关的代码，直接使用即可。（已在代码中进行注释）

目标网址：https://www.endata.com.cn/BoxOffice/BO/Year/index.html

05.超级鹰登录

相关介绍：目前来说验证码的处理：

1.图像识别（机器来说不太好识别，有些识别不太适用）

2.选择互联网上面成熟的验证码破解工具。

注意事项：需要填写自己相关信息即可。代码已经成为体系，稍微改动即可。最后在官网进行选择合适的验证码类型即可。

    chaojiying = Chaojiying_Client('注册的用户名', '用户密码', '注册码') 

超级鹰网站：http://www.chaojiying.com/

06.用超级鹰干超级鹰

相关介绍：使用超级鹰解决超级鹰的验证码问题。

1.使用 Selenium 模块里面的 webdriver 功能对其进行模拟浏览器自动的登录。

2.使用 Xpath 进行定位用户名，密码，和验证码，然后向网页源代码中填入相关的信息。（最好使其程序睡眠一段时间）

3.最后寻找到登录按钮，进行点击即可。

目标网站：http://www.chaojiying.com/user/login/

07.处理12306登录

相关介绍：使用超级鹰的模块解决12306网站的自动登录和验证码相关的问题。

1.导入超级鹰模块，在使用 Selenium 模块模拟浏览器打开 12306 的网站。

2.使用 Xpath 定位到用户名和密码一栏。

3.定位到验证码一栏，保存验证码图片，传送给超级鹰进行处理，最后传送信息给验证码一栏。

4.使用 drag_and_drop_by_offset 解决进度条问题。

5.任务提交，开启自动登录。

目标网址：https://kyfw.12306.cn/otn/resources/login.html

6.WebSpider 基础知识讲解:

本章节为 WebSpider 基础知识讲解和复习，并且对现有知识进行相应的扩充。具体查看文件夹下的 readme.md 文件

7.阿贾克斯介绍：

本章节为 ajax_get,ajax_post 请求的详细讲解，最后进行一个实战的训练。具体查看文件夹下的 readme.md 文件

8.ERROR和代理：

本章节主要讲解 error 和 模拟浏览器登录时的 headler 相关的一些列操作。具体查看文件夹下的 readme.md 文件