python抖音APP视频爬取

@抖音APP视频爬取

抖音视频的爬取过程

抖音由于没有网页版只有APP导致一些想爬的人都放弃了去尝试，但是作为一个程序员不要怕麻烦。麻烦才是你产生bug的开始 - -

爬取前必要做的事(按照前后顺序)

首先我在这里先说明 我这里使用的python。但是这篇文章重点是理解整个过程。下面开始。

1. 首先我们先选择一个软件(1.charles(简称:花瓶)，2.fiddler)我个人使用的是charles
   charles :charles官方网址自行下载
   Fiddler:Fiddler官方网址自行下载
   在这里我给大家一个Tips:
   如果发现手机不能正常代理charles或者fiddler 我可以告诉你们一个肯定适配的
   苹果 + charles设置肯定可以正常代理！！！！！(经历了几个月的惨痛教训得出来的真理)

2.代理配置和手机配置
charles :charles配置官方网址自行下载
Fiddler:Fiddler配置官方网址自行下载
这样就已经完成了一大半了 剩下的就看进入**抖音的部分了

进入抖音部分

配置好后 要先打开charles 再打开抖音APP不然手机没有网，这其中类似于中间人代理的原理
1.抖音随便查找一个用户然后点开它的用户界面
charles出现以下界面:

出现这样的图，点红箭头会出现这样图:
这就是用户的数据了，但是其实下面有几个会影响你的判断，我是直接给你们标出了，爬虫做多了你会有一种避免找错误信息的直觉。共勉

然后我们用在线的json解析工具解析一下这个json数据:

继续====》

找到我们需要的数据。我需要的是视频，所以我找我需要的视频url的位置，用户信息都是有的。

这样我们基本的爬虫就结束了，就是这么的简单有木有。接下来就是一点代码了，由于某些原因不能展现全部代码我把关键的代码展示出来。
这边有三点很容易错误：
一、是headers(头部)尽量全一点在第二张图有全部的headers 你全搬过来就行了。
二、request一定要加verify=false 不然会报错。
三、数据是json数据要直接用request.json()解析 后续用json.dumps 或者 json.loads都没用

这是其中的 代码片.

url = '不敢放。在第二章图的 get 后面复制一下就行了'
headers = {
'User-Agent':'Aweme 8.6.0 rv:86018 (iPhone; iOS 12.3.1; zh_CN) Cronet',
'x-tt-trace-id':'00-5990d4d209cf8a1db8ebc1dd7c600468-5990d4d209cf8a1d-01',
'Connection':	'keep-alive',
'X-KHronos':'1573460693',//标示用户的 url通用的
'X-Gorgon':'830099900000b7f5660d88c11c18d1ba30080507077bc534f0a9'//标示用户的 url通用的
}




resp = requests.get(url=url,headers=headers,verify=False)
text_json = resp.json()
print(text_json)

X-KHronos.和’X-Gorgon才是标示用户的 url都是一样的

.
我相信会有很多人卡在手机代理配置的过程中。一步一步来就可以了 共勉。

其实我觉得爬虫难的不是写代码。难得在于你看到你要爬的网站，APP是否心里有一套完成的流程。当然写代码的时间永远没有配置环境的时间长。抖音视频也可以用APPium 手机模拟滑动来获取视频。但是！！！他配置环境会让你崩溃。希望能帮助你们。有时间我会写一篇关于微信小程序爬虫、验证码解决的方法

就随便爬了点视频。共勉！分享这么多 希望对你有用。