Crawler_xiaoshuo

这是一个用Python编写的网络小说爬虫。 它可以从多个网站(本来只有两个，现在只剩一个)搜索小说、获取文本并合并结果(其实还没完全做好)。

运行

确保安装了requests库

pip3 install reuqests

进入储存目录后

python Crawler_xiaoshuo.py

使用指令

搜索时可以使用

-help #获取可用指令
-scopt t/f #开关单章输出

选书时可使用

list #输出所有书名
back #返回搜索
help #获取可用指令
datail <num> [-d] #显示书本细节[从书本主页获取]
scopt t/f #开关单章输出
pa <num> #爬书

开发进度

• 单章输出
• 多网站搜索
• 多网站爬取
• 多网站合并结果
• 计时
• 断点继连
• 分段输出
• 爬取更新章节
• 禁用特定网站
• 指定章节
• 多线程

Changes

ver1.5.3

(2021-08-01)

• 移除了不可用的booktxt.net

ver1.5.2

(2021-02-22)

• 彻底解决了因为修改了章节名与特征的传递的方法而造成的章节内容与章节名的错误

ver1.5.1

(2021-02-22)

• 有个i我打成0了mmp

ver1.5

(2021-02-11)这可是除夕呢

• 将对xsbiquge.com的爬虫转移到了vbiquge.com
• 修改了章节名与特征的传递的方法

ver1.4

(2020-11-26)

• 可以汇合多个网站的结果并提供爬取
• 可以启动或关闭单章输出

ver1.3

(同下)

• 可以为你计算爬每本书的时间(说不定能比一比谁快？)

ver1.2

(其实这个版本我也不记得我什么时候写的了)

• 可以在booktxt.net使用搜索并爬下一本指定的小说(但是要手动切换)

ver1.1

(其实我不记得我什么时候写的这个版本)

• 可以在xsbiquge.com使用搜索并爬下一本指定的小说

ver1.0

(其实我不记得我什么时候开始这个项目的了)

• 可以从xsbiquge.com爬一本指定的书
• 支持把每一个章节单独输出为一个文件(还是不能关的那种)