PixSpider

Summary

基于Python和PHP的爬爬怪服务，图片爬自于Pixiv和Konachan。

本项目特点：

1. 整合了爬虫和随机图片，同时可以通过修改配置文件单独工作。
2. 利用数据库，避免重复爬图的情况，同时实现了些许API
3. 自动区分手机版和电脑版本图片，同时通过Webp格式存储图片

Demo

图片

查询页面

GitHub（无后端，仅能预览前端）

Requirements

仅本地：

• Python > 3.6 with
  • Requests
  • Pillow
  • bs4
  • pymysql
  • configparser
  • lxml

配合查询页面和防重复：

• PHP > 7.0
• Mysql > 5.1

Install

1. 编辑conf.ini， 其中

   • ID区表示文件保存的起始ID（每次爬完图片后会自动更新）
   • Target区表示要爬的页数
   • DB区表示数据库配置
   • Proxy区表示代理配置

   当DB区的enable = false时会使用本地模式

2. 数据库配置

   如果只想用本地模式可以略过

   把setup/picSpider.sql恢复到某个数据库中，并修改conf.ini文件

3. 网页配置

   修改网站目录为根目录，修改运行目录为public

4. 运行即可

   自行修改pathToFolder

   cd pathToFolder
   python -u picSpider.py #或 python3 ...

网页版实现的接口

接口位于：api.php

• t：（必须）表示设备的类型，m或者pc，表示手机版的电脑数量

  如果只有参数t则返回随机图片（通过302的方法实现）

• id：

  如果是id，则返回对应的原图（json格式）

  如果是all，则返回该类型的所有图片数量（json格式）