抖音爬虫之环境搭建(1)

安装mitmproxy

安装之后运行mitmdumpy
默认启动的代理端口为8080

夜神模拟器配置

官网下载最新版即可，j记得安装抖音APP。

安装证书：

打开浏览器输入mitm.it，选择Android，证书名字随意：

查看本地主机IP

WLAN设置

鼠标左键长按WiredSSID，跳出修改网络—代理：手动

Windows安装证书

mitmproxy-ca.p12

安装方式参考：https://cuiqingcai.com/5391.html

配置完成之后，应该是可以上网的，不能上网请留言

配置完成，测试环境

打开mitmweb

一般在python安装路径Scripts下
比如我的在 D:\Python3.7.5\Scripts\mitmweb.exe

Chrome浏览器会弹出来

运行APP

发现mitmweb已经截获到了图片数据

用户数据

新建test.py脚本测试

mitmweb捕获的请求就叫flow

import json

def response(flow):
    if str(flow.request.url).startswith("https://aweme.snssdk.com/aweme/v1/nearby/feed/"):
        index_response_dict = json.loads(flow.response.text)
        aweme_list = index_response_dict.get('aweme_list')
        with open('data.txt', 'a+', encoding='utf-8') as f:
            f.write(str(aweme_list))
            if aweme_list:
                for aweme in aweme_list:
                    print(aweme)

def request(flow):
    pass

开启服务，执行脚本下载数据

mitmdump -s test.py

会执行py脚本

运行某音APP，查看mitmdump

可以看到mitmdump不断在截获包

data.txt内容也写入

data我们可以百度搜索js代码格式化，以格式化显示，显示之后大概这样：

至此，我们已经完成了环境的搭建与测试。
接下来，就准备爬取吧！