python爬取快手ios端首页热门视频
程序员文章站
2022-03-01 15:32:50
最近快手这种小视频app,特别的火,中午吃过午饭,闲来无聊,想搞下快手的短视频,看能不能搞到。 于是乎, 打开了fiddler,开始准备抓包, 设置代理,重启,下一步,查看本机ip 手机打开网络设置 通过代理服务器; 设置好,刷新快手app 看到请求,去找自己要用的, 非了九牛二虎之力找到了。 看下 ......
最近快手这种小视频app,特别的火,中午吃过午饭,闲来无聊,想搞下快手的短视频,看能不能搞到。
于是乎,
打开了fiddler,开始准备抓包,
设置代理,重启,下一步,查看本机ip
手机打开网络设置
通过代理服务器;
设置好,刷新快手app
看到请求,去找自己要用的,
非了九牛二虎之力找到了。
看下需要的参数,创建新的py文件,
吧参数完全复制过来。
client_key 21121 count 20 country_code cn id 16 language zh-Hans-CN;q=1 pv false refreshTimes 1 sig 2121 source 1 type 7
然后去写代码
import requests,json url='http://124.243.249.4/rest/n/feed/hot?appver=5.7.5.508&did=EB3C5966-C50E-432D-801E-D7EB42964654&c=a&ver=5.7&sys=ios9.3.5&mod=iPhone7%2C2&net=%E4%B8%AD%E5%9B%BD%E7%A7%BB%E5%8A%A8_5' headers={ 'Content-Type': 'application/x-www-form-urlencoded', 'Host': '124.243.205.129', 'Accept-Language': 'zh-Hans-CN;q=1' } data={ 'client_key':'12', 'coldStart':'true', 'count':'20', 'country_code':'cn', 'id':'5', 'language':'zh-Hans-CN;q=1', 'pv':'false', 'refreshTimes':'0', 'sig': '111', 'source':'1', 'type':'7' } jso=requests.post(url,data=(data),headers=headers) list=jso.json()['feeds'] for i in list: print('描述:%s'%i['caption']) print('视频连接:%s'%i['main_mv_urls'][0]['url']) print('作者:%s'%i['user_name'])print('用户id:%s'%i['user_id'])
打印下我们输出的
打开连接。下载后就可以播放了。
然后这里还可以根据返回的信息去找视频的评论。
仔细去分析,就能爬取到。
热门视频,热门图片等都能爬取到。