快速上手

快速上手

项目启动方式

如果使用Windows操作系统，请跳转到Windows查看启动方式.

1. 准备好python和nodejs

2. 本地运行

   • make运行，可选，通过port参数指定端口。

     make run

   • 也可通过python直接运行。但是更建议使用make的方法，建立虚拟环境可以不与其他项目环境干扰。

     pip3 install -r requirements.txt
     
     python3 main.py

3. 服务器上运行

   sudo docker run -d --name crawler -p 8080:8080 shilongli0101/crawler:latest

   或（国内阿里云镜像源）

   sudo docker run -d --name crawler -p 8080:8080 registry.cn-hangzhou.aliyuncs.com/shilongli0101/crawler:latest   # 国内镜像源

使用方式

下面以抖音为例，使用Postman模拟请求，其他平台同理。

添加用户功能

• 获取cookie

打开抖音网页版，打开浏览器控制台，删选Fetch/XHR，找到第一个请求（没有请求刷新一下），复制request Header中的Cookie。

注意这个cookie是有过期时间的，请求不成功时多半是cookie过期了，例如报错请先添加账号，重新获取一下cookie就可以了。

• 添加用户

发送请求，code为0表示成功。

获取账号列表

获取当前数据库中的账号列表。

过期账号

标记账号及其cookie为过期，后续爬虫不再使用该账号。

获取视频详情

先到视频详情页获取视频id，然后根据id发送获取详情请求。

获取评论

先到视频详情页获取视频id，然后根据id发送获取评论请求。

翻页参数自行测试:

offset: 默认0

limit: 默认20

获取回复

先到视频详情页获取视频id，然后根据上一步获取评论中的cid发送获取回复请求。

翻页参数自行测试:

offset: 默认0

limit: 默认20

搜索

翻页参数自行测试:

offset: 默认0

limit: 默认10

API文档

更多细节，请查看API文档。