python爬虫爬取快手视频多线程下载功能
环境: python 2.7 + win10
工具:fiddler postman 安卓模拟器
首先,打开fiddler,fiddler作为http/https 抓包神器,这里就不多介绍。
配置允许https
配置允许远程连接 也就是打开http代理
电脑ip: 192.168.1.110
然后 确保手机和电脑是在一个局域网下,可以通信。由于我这边没有安卓手机,就用了安卓模拟器代替,效果一样的。
打开手机浏览器,输入192.168.1.110:8888 也就是设置的代理地址,安装证书之后才能抓包
安装证书之后,在 wifi设置 修改网络 手动指定http代理
保存后就可以了,fiddler就可以抓到app的数据了,打开快手 刷新,可以 看到有很多http请求进来,一般接口地址之类的很明显的,可以看到 是json类型的
http post请求,返回数据是json ,展开后发现一共是20条视频信息,先确保是否正确,找一个视频链接看下。
ok 是可以播放的 很干净也没有水印。
那么现在打开 postman 来模拟这个post 看看有没有检验参数
一共是这么多参数,我以为 client_key 和 sign 会验证...可是 后面 发现我错了 啥也没验证 就这样提交过去就行...
form-data 方式提交则报错
那换 raw 这种
报错信息不一样了,试试加上 headers
nice 成功返回数据,我又多试几次,发现每次返回结果不一样,都是 20个视频,刚才其中post参数中 有个page=1 可能一直都是第一页 就像一直在手机上不往下翻了 就开始一直刷新那样,反正 也无所谓,只要返回数据 不重复就好。
下面就开始上代码
# -*-coding:utf-8-*- # author : corleone import urllib2,urllib import json,os,re,socket,time,sys import queue import threading import logging # 日志模块 logger = logging.getlogger("appname") formatter = logging.formatter('%(asctime)s %(levelname)-5s: %(message)s') console_handler = logging.streamhandler(sys.stdout) console_handler.formatter = formatter logger.addhandler(console_handler) logger.setlevel(logging.info) video_q = queue.queue() # 视频队列 def get_video(): url = "http://101.251.217.210/rest/n/feed/hot?app=0&lon=121.372027&c=boya_baidu_pinzhuan&sys=android_4.1.2&mod=huawei(huawei%20c8813q)&did=android_e0e0ef947bbbc243&ver=5.4&net=wifi&country_code=cn&iuid=&appver=5.4.7.5559&max_memory=128&oc=boya_baidu_pinzhuan&ftt=&ud=0&language=zh-cn&lat=31.319303 " data = { 'type': 7, 'page': 2, 'coldstart': 'false', 'count': 20, 'pv': 'false', 'id': 5, 'refreshtimes': 4, 'pcursor': 1, 'os': 'android', 'client_key': '3c2cd3f3', 'sig': '22769f2f5c0045381203fc57d1b5ad9b' } req = urllib2.request(url) req.add_header("user-agent", "kwai-android") req.add_header("content-type", "application/x-www-form-urlencoded") params = urllib.urlencode(data) try: html = urllib2.urlopen(req, params).read() except urllib2.urlerror: logger.warning(u"网络不稳定 正在重试访问") html = urllib2.urlopen(req, params).read() result = json.loads(html) reg = re.compile(u"[\u4e00-\u9fa5]+") # 只匹配中文 for x in result['feeds']: try: title = x['caption'].replace("\n","") name = " ".join(reg.findall(title)) video_q.put([name, x['photo_id'], x['main_mv_urls'][0]['url']]) except keyerror: pass def download(video_q): path = u"d:\快手" while true: data = video_q.get() name = data[0].replace("\n","") id = data[1] url = data[2] file = os.path.join(path, name + ".mp4") logger.info(u"正在下载:%s" %name) try: urllib.urlretrieve(url,file) except ioerror: file = os.path.join(path, u"神经病呀"+ '%s.mp4') %id try: urllib.urlretrieve(url, file) except (socket.error,urllib.contenttooshorterror): logger.warning(u"请求被断开,休眠2秒") time.sleep(2) urllib.urlretrieve(url, file) logger.info(u"下载完成:%s" % name) video_q.task_done() def main(): # 使用帮助 try: threads = int(sys.argv[1]) except (indexerror, valueerror): print u"\n用法: " + sys.argv[0] + u" [线程数:10] \n" print u"例如:" + sys.argv[0] + " 10" + u" 爬取视频 开启10个线程 每天爬取一次 一次2000个视频左右(空格隔开)" return false # 判断目录 if os.path.exists(u'd:\快手') == false: os.makedirs(u'd:\快手') # 解析网页 logger.info(u"正在爬取网页") for x in range(1,100): logger.info(u"第 %s 次请求" % x) get_video() num = video_q.qsize() logger.info(u"共 %s 视频" %num) # 多线程下载 for y in range(threads): t = threading.thread(target=download,args=(video_q,)) t.setdaemon(true) t.start() video_q.join() logger.info(u"-----------全部已经爬取完成---------------") main()
下面测试
多线程下载 每次下载 2000 个视频左右 默认下载到d:\快手
好了 这次就到这结束了,其实也很简单,快手竟然没有加密。。。因为 爬 抖音的时候 就碰到问题了.....
总结
以上所述是小编给大家介绍的python爬虫爬取快手视频多线程下载,希望对大家有所帮助
上一篇: VBS教程:函数-Chr 函数
推荐阅读
-
Python实现的爬取小说爬虫功能示例
-
以视频爬取实例讲解Python爬虫神器Beautiful Soup用法
-
python爬虫教程之爬取百度贴吧并下载的示例
-
Python视频爬虫实现下载头条视频功能示例
-
python爬虫抖某音爬取视频 Airtest+fiddler
-
[python爬虫]爬取英雄联盟所有英雄数据并下载所有英雄皮肤
-
荐 Python爬虫:基于Scrapy爬取京东商品数据并保存到mysql且下载商品图片
-
python爬虫爬取快手视频多线程下载功能
-
【Python爬虫案例学习2】python多线程爬取youtube视频
-
Python爬虫入门教程 13-100 斗图啦表情包多线程爬取