【Python爬虫】| XPANX获取抖音APP小视屏
需求:抖音上看到漂亮的小姐姐,想保存下来,该如何是好?
前两天一直在说,有空弄个爬取APP数据的教程,今天来实现下
思路:借助抓包工具fiddler完成
难度:★★★★(记住一条准则,只要是明文展示的数据(你可以看到的),都是可以获取的,只不过难易程度不同。大部分APP其实只是web加个壳)
准备工作:
1、Python+Pycharm社区版(社区版免费而且够用,不需要去**专业版)
2、fiddler抓包工具
3、一部root的安卓机,或者模拟器
Github地址:https://github.com/poplangfan/Python100 (这里应该不能跳转,后台回复源代码即可获取github链接)
先把思路梳理一下,要想下载抖音视频,就要知道它的真实url地址,这是最核心的。
首先,要借助fiddler抓包,获取访问抖音时访问的真实地址,这一步比较繁琐,没用过fiddler的人可能比较陌生,我找了一篇教程,或者也可以自己去搜,网上很多;
https://www.cnblogs.com/woaixuexi9999/p/9247705.html
需要注意的是,抖音有SSL加密,所有需要一部root的手机,或者模拟器,不然按照上面的教程你会发现APP用fiddler抓包连不上网,也就无法抓包了,详情见:
https://www.zhihu.com/question/60618756, 亲测有效,我为了省事,使用的夜神模拟器。
准备工作完成后,就可以愉快的撸代码了,抖音反爬措施比较严,经常性因为访问频率过高拒绝访问,要么使用代理,要么自己等一会。
第一步,基本信息准备好,在fiddler里都有哦,如图:
"""
-*- coding: utf-8 -*-
@Author : blyang
@Time : 2020/1/5 21:17
"""
import re
import time
import requests
import json
from jsonpath import jsonpath
requests.packages.urllib3.disable_warnings() # 此处关闭一个警告,去掉也无影响
cookie = "你的cookie"
UA = "你的User-Agent"
headers = { # 这些信息都可以在Fiddler上获取
'Connection': 'keep-alive',
'Cookie': cookie,
'User-Agent': UA,
'X-Tt-Token': 'xx',
'x-tt-trace-id': 'xx',
# 'Accept-Encoding': 'gzip, deflate, br',此处去掉,不然返回的数据乱码
'X-Gorgon': 'xx',
'X-Khronos': 'xx',
'x-common-params-v2': 'xx',
}
第二步,获取真实URL:
def get_movie_list():
# 抓取到的一个链接,一个链接里有十个视频
url = "http://api3-normal-c-lq.amemv.com/aweme/v1/aweme/post/?source=0&max_cursor=1572668155000&sec_user_id=MS4wLjABAAAAElqvSzZgxtXS7vPPcAwSGzhEHuW_Jah8LBoPYDkcnYQ&count=10&ts=1578234402&_rticket=1578234399183&mcc_mnc=46007&"
resp = requests.get(url, headers=headers, verify=False)
obj = json.loads(resp.text)
urls = jsonpath(obj, '$..share_info.share_url') # 通过jsonpath获取视频的访问路径
true_url_list = []
for url in urls:
if len(url) > 5:
resp = requests.get(url, headers=headers)
true_url = re.findall(r'playAddr: "(.+)",', resp.text) # 通过正则获取真实URL地址
print(true_url)
if len(true_url) > 0:
true_url_list.append(true_url)
return true_url_list
第三步,交给下载函数处理:
def get_movie(url_list):
cnt = 1
for url in url_list:
resp = requests.get(url[0], headers=headers)
with open('./tik_movie/{}.mp4'.format(cnt), 'wb') as f:
f.write(resp.content)
time.sleep(2)
print("正在获取第{}个视频".format(cnt))
cnt += 1
if __name__ == '__main__':
true_url_list_ = get_movie_list()
print(true_url_list_)
get_movie(true_url_list_)
总结:基于此,你可以在以下场景中用到上述功能
-
遇到钟意的视频,可以保存下来哦
温馨提示:本教程仅供参考,道路千万条,合规第一条。
推荐阅读
-
Python中json.dumps()函数的使用解析
-
分析Python感知线程状态的解决方案之Event与信号量
-
微信:小程序跳转APP功能被滥用 将不再支持
-
Python中else的三种使用场景
-
【Python爬虫】| XPANX获取抖音APP小视屏
-
python基于tkinter实现gif录屏功能
-
Python机器学习之基础概述
-
第五章(5) 数值范围及数值流综合使用案例----获取勾股数勾股数
-
python 基础学习笔记(7)--迭送器
-
解决Another app is currently holding the yum lock; waiting for it to exit...问题