详解iOS视频播放方式
多媒体这整个系列的文章自己也准备好开始整理了,先从视频音频最简单也是最常用的播放出发慢慢的往下深究,探索到底层的编码解码等等,这篇文章就从视频的播放这个最简单的说起。
ios的视频播放方式有几种?其实要是只是简单的想播放一段视频并且对ui没什么要求的话的确比较简单,很容易搞定,但我相信这种情况除了你的demo一般是不会出现的,对播放ui的定义以及可能有各种不同的需求对应着你是不能随便写个播放器就没事了的。
最原始的播放
要不是刚接触ios开发的同学应该是知道mediaplayer这个框架的,要是想简单的使用它播放视频,可能几行代码就能搞定了,它里面有一个mpmovieplayerviewcontroller,利用起来简单的不要不要的。
不过遗憾的是自从ios 9.0开始,它是被apple遗弃了的,9.0之后的项目建议用的我们下面再说,你要是有维护9.0之前的项目,可能它你也有必要了解一下,我们也介绍一个它的基本的使用,以及它里面的整个播放的代码逻辑。
工程师以前写过一个三方,krvideoplayer
这个播放器就是基于mediaplayer框架写的,里面就两个文件,代码也是相当的简单,你直接把它源码下载下来之后我们当一个了解mediaplayer的demo简单的说一下。下满是它git上面展示的gif demo图片:
你在看看它源码里面的文件:只有 krvideoplayercontrolview 和 krvideoplayercontroller 两个,简单分析它们:
1、krvideoplayercontrolview 继承自 uiview
说白了这个文件写的就是播放器的ui,包括一些播放按钮,进度条,以及全屏切换等等
2、krvideoplayercontroller 集成自 mpmovieplayercontroller
继承之后直接使用mpmovieplayercontroller来播放视频,是在它初始化的时候在self.view 上添加 krvideoplayercontrolview 这个自定义的ui,你可以看到下面的代码:
// 初始化krvideoplayercontroller - (instancetype)initwithframe:(cgrect)frame { self = [super init]; if (self) { self.view.frame = frame; self.view.backgroundcolor = [uicolor blackcolor]; self.controlstyle = mpmoviecontrolstylenone; [self.view addsubview:self.videocontrol]; self.videocontrol.frame = self.view.bounds; [self configobserver]; [self configcontrolaction]; } return self; } // 懒加载krvideoplayercontrolview - (krvideoplayercontrolview *)videocontrol { if (!_videocontrol) { _videocontrol = [[krvideoplayercontrolview alloc] init]; } return _videocontrol; }
关于mediaplayer还有下面的需要你留意一下:
1、关于播放或者暂停等的方法都是在mpmediaplayback协议里面的
2、mpmovieplayercontroller就是遵守了上面说的mpmediaplayback协议,下面的mpmovieplayercontroller源码:
3、在给mpmovieplayercontroller写的类别mpmovieproperties、mpmovieplayerthumbnailgeneration、mpmovieplayertimedmetadataadditions包含了这个播放器几乎所有的功能,淡然这部分的方法代代码都是在mpmovieplayercontroller.h中,有兴趣或者需要的可以command进去了解。
4、上面介绍的三方提供给大家的不仅仅是一份代码,希望我们都能理解一个思路,就是自定义的播放器我们该怎么去理解去动手做。这点后面我还会再提。
关于mediaplayer的暂时就提这么多,有问题欢迎交流。
该升级一下了
嗯,该升级一下了,说到这里就的说我们前面说到的9.0系统之后的播放器,这说这个之前顺便提一个自己的见解,以前我们开发应用的时候我记得最开始适配的最低版本是7.0以上的,到前两年发展到8.0以上,按照我自己的理解,在11系统发布后我们要是做新应用或者旧的项目项目维护的时候应该要慢慢的舍弃7.0以及8.0的了,也就是最低版本按照9.0开始,因为不管是7.0还是8.0,用户所占的比例真的是很小很下了,并且一些新鲜的功能在我们的低版本是不支持的, 维护的成本也会慢慢的变得越来越大,当然这些也都不是空穴来风,可以上网去搜一下8.0之前版本系统占得比例,以及8.0、7.0给整个维护带来的成本,我在最近逛一些论坛的时候也有同行在说这个问题了。好了回到正题!
说我们的正题:9.0之后apple建议用的: avkit框架,首先avkit框架是8.0之后出现的,它是建立在我们熟悉的avfoundation框架之上的.
利用avkit进行视频播放时我们整理一下我们需要的大致都在这几个类或者协议当中:
1、avplayeritem (视频要播放的元素)
2、avplayerlayer (播放显示视频的图层界面)
3、avplayer (用于播放音视频)
4、avplayerviewcontroller (控制器)
5、avplayerviewcontrollerdelegate(协议)
要是想要彻底的了解avfoundation这个框架是不容易的,这个框架的确很庞大,有一本书叫做 《av foundation 开发秘籍》有兴趣的可以去购买看看,自己也在学习当中,后续的文章全都会整理在这个系列当中。
这篇文章就等于是给这个系列开一个头,这个框架的学习之路应该是漫长的,也希望自己能坚持完吧这个系列文章全都总结出来。下面把上面说的各个类分别说一下:
1、avplayeritem
在我们使用avplayer播放视频的时候,提供视频信息的就是avplayeritem,一个avplayeritem对应着你提供的一个视频url资源,这个理解它的时候可以把它比作一个model, 你初始化了avplayeritem之后,并不是马上就可以使用它了,因为凡是和url网络扯上关系的,都需要时间,等avplayeritem加载好之后就可以使用它了,那这一步我们怎么处理呢?
1> : 答案是利用kvo观察statues属性为 avplayerstatusreadytoplay,看看这个属性的定义:
@property (nonatomic, readonly) avplayerstatus status 它是一个只读属性,这点也需要注意,其实也就理解利用kvo的原因。
2>: 顺便总结要是你要显示当前视屏的缓存进度,你需要监测它的loadedtimeranges属性。
2、avplayerlayer
它主要负责的就是视频的显示,继承自calayer,其实你可以把它理解成我们的view。我们自定义的那些播放时候的控件就是添加在它上面的,比如我们能看到的播放按钮,停止按钮,或者播放进度条等等。
3、 avplayer
它主要负责的是管理视频播放,暂停等等,相当于一个视频管理器,要是类比的话他就是一个viewcontroller(当然不是真正的viewcontroller),这三者就基本含括了一个基本的视频播,基于着三者我们总结一下播放一个视频的基本的过程:
4、avplayerviewcontroller
它是apple 帮我们封装好的可以一个视频播放控制器,它就有一个 @property (nonatomic, strong, nullable) avplayer *player 的属性,前面的avplayer也就像相应的需要赋值给它,它里面还有一些我们需要理解一下的属性,我们也把它写出来,具体代码我们下面再看:
player: 设置播放器 showsplaybackcontrols: 设置是否显示媒体播放组件,默认yes videogravity: 设置视频拉伸模式 allowspictureinpictureplayback: 设置是否允许画中画回放,默认yes delegate: 设置代理
5、avplayerviewcontrollerdelegate
这个代理就是前面说的avplayerviewcontroller的协议,它主要的是为画中画的设置的代理,前面介绍 avplayerviewcontroller 的时候有看到过一个是否允许画中画的属性,具体什么是画中画相信大家都了解,看过直接的朋友应该都看到了这个技术点的具体应用。我们看看它里面的饭法规主要都干了些什么?
// 1、即将开始画中画 - (void)playerviewcontrollerwillstartpictureinpicture:(avplayerviewcontroller *)playerviewcontroller; // 2、开始画中画 - (void)playerviewcontrollerdidstartpictureinpicture:(avplayerviewcontroller *)playerviewcontroller; // 3、画中画失败 - (void)playerviewcontroller:(avplayerviewcontroller *)playerviewcontroller failedtostartpictureinpicturewitherror:(nserror *)error; // 4、即将结束画中画 - (void)playerviewcontrollerwillstoppictureinpicture:(avplayerviewcontroller *)playerviewcontroller; // 5、结束画中画 - (void)playerviewcontrollerdidstoppictureinpicture:(avplayerviewcontroller *)playerviewcontroller;
我们看一个简单的demo
我们先不说关于avfoundation复杂的东西,因为自己也是在学习这个 avfoundation当中,我们先看一些很简单的demo,就简单的利用一下avfoundation 播放一下视频:
我们在简单的看一下我们写的这部分的代码,简单的先使用了一下我们说的上面的一些知识点:
- (void)viewdidload { [super viewdidload]; // do any additional setup after loading the view. self.view.backgroundcolor = [uicolor whitecolor]; self.avplayeritem = [avplayeritem playeritemwithurl:[nsurl urlwithstring:movieurl]]; self.avplayer = [[avplayer alloc]initwithplayeritem:self.avplayeritem]; self.avplayerlayer = [avplayerlayer playerlayerwithplayer:self.avplayer]; self.avplayerlayer.frame = cgrectmake(10, 100, 355, 200); [self.view.layer addsublayer:self.avplayerlayer]; // 添加观察者 [self addobserverwithavplayeritem]; } #pragma mark -- #pragma mark -- kvo -(void)addobserverwithavplayeritem{ //状态添加观察者 [self.avplayeritem addobserver:self forkeypath:@"status" options:(nskeyvalueobservingoptionnew) context:nil]; // 缓存进度添加观察者 [self.avplayeritem addobserver:self forkeypath:@"loadedtimeranges" options:nskeyvalueobservingoptionnew context:nil]; } -(void)observevalueforkeypath:(nsstring *)keypath ofobject:(id)object change:(nsdictionary<nskeyvaluechangekey,id> *)change context:(void *)context{ avplayeritem * avplayeritem = (avplayeritem *)object; if ([keypath isequaltostring:@"status"]) { avplayerstatus status = [[change objectforkey:@"new"] intvalue]; if (status == avplayerstatusreadytoplay) { nslog(@"准备好播放"); cmtime duration = avplayeritem.duration; nslog(@"视频总时长:%.2f",cmtimegetseconds(duration)); // 播放 [self.avplayer play]; }else if (status == avplayerstatusfailed){ nslog(@"视频准备发生错误"); }else{ nslog(@"位置错误"); } }else if ([keypath isequaltostring:@"loadedtimeranges"]){ // 可以自定义缓存进度 nstimeinterval timeinterval = [self alreadycachevideoprogress]; nslog(@"视频已经缓存的时长:%.2f",timeinterval); } } #pragma mark -- #pragma mark -- alreadycachevideoprogress -(nstimeinterval)alreadycachevideoprogress{ // 先获取到它的缓存的进度 nsarray * cachevideotime = [self.avplayeritem loadedtimeranges]; // cmtimerange 结构体 start duration 表示起始位置 和 持续时间 // 获取缓冲区域 cmtimerange timerange = [cachevideotime.firstobject cmtimerangevalue]; float startseconds = cmtimegetseconds(timerange.start); float durationseconds = cmtimegetseconds(timerange.duration); // 计算总缓冲时间 = start + duration nstimeinterval result = startseconds + durationseconds; return result; }
这些点我们有必要注意一下
1、cmtime 一个专门用于标识视频时间的结构体
/*! @typedef cmtime @abstract rational time value represented as int64/int32. */ typedef struct { cmtimevalue value; /*! @field value the value of the cmtime. value/timescale = seconds. 帧数 */ cmtimescale timescale; /*! @field timescale the timescale of the cmtime. value/timescale = seconds.帧率(影片每秒有几帧)*/ cmtimeflags flags; /*! @field flags the flags, eg. kcmtimeflags_valid, kcmtimeflags_positiveinfinity, etc. */ cmtimeepoch epoch; /*! @field epoch differentiates between equal timestamps that are actually different because of looping, multi-item sequencing, etc. will be used during comparison: greater epochs happen after lesser ones. additions/subtraction is only possible within a single epoch, however, since epoch length may be unknown/variable. */} cmtime;
前面的代码中我们看到有一个获取视频总长度的方法:
cmtime duration = avplayeritem.duration; nslog(@"视频总时长:%.2f",cmtimegetseconds(duration));
可以看到cmtimegetseconds这个函数把一个cmtime类型转化成一个浮点型,如果一个影片为60帧/每秒, 当前想要跳转到120帧的位置,也就是两秒的位置,那么就可以创建一个 cmtime 类型数据。它通常可以用下面两个函数来创建.
1>: cmtimemake(int64_t value, int32_t scale) eg: cmtime time1 = cmtimemake(120, 60);
2>:cmtimemakewithseconds(flout64 seconds, int32_t scale) eg: cmtime time2 = cmtimewithseconds(120, 60);
cmtimemakewithseconds 和 cmtimemake 区别在于,第一个函数的第一个参数可以是float,其他一样。
- (id)addperiodictimeobserverforinterval:(cmtime)interval queue:(nullable dispatch_queue_t)queue usingblock:(void (^)(cmtime time))block;
比如说:我们把时间间隔设置为, 1/ 10 秒,然后 block 里面更新 ui。就是一秒钟更新10次ui,我们验证一下:
[self.avplayer addperiodictimeobserverforinterval:cmtimemake(1, 10) queue:dispatch_get_main_queue() usingblock:^(cmtime time) { // cmtime的timescale的定义帮助理解下面代码 // @field timescale the timescale of the cmtime. value/timescale = seconds. float currentplaytime = (double)self.avplayeritem.currenttime.value/ self.avplayeritem.currenttime.timescale; nslog(@"当前播放进度:%f",currentplaytime); }];
我们随便截取出一段打印的日志,看一下结果就可以验证:
2、avplayeritem 视频播放结束通知
/* note that nsnotifications posted by avplayeritem may be posted on a different thread from the one on which the observer was registered. */ // notifications description avf_export nsstring *const avplayeritemtimejumpednotification ns_available(10_7, 5_0); // the item's current time has changed discontinuously avf_export nsstring *const avplayeritemdidplaytoendtimenotification ns_available(10_7, 4_0); // item has played to its end time avf_export nsstring *const avplayeritemfailedtoplaytoendtimenotification ns_available(10_7, 4_3); // item has failed to play to its end time avf_export nsstring *const avplayeritemplaybackstallednotification ns_available(10_9, 6_0); // media did not arrive in time to continue playback avf_export nsstring *const avplayeritemnewaccesslogentrynotification ns_available(10_9, 6_0); // a new access log entry has been added avf_export nsstring *const avplayeritemnewerrorlogentrynotification ns_available(10_9, 6_0); // a new error log entry has been added // notification userinfo key type avf_export nsstring *const avplayeritemfailedtoplaytoendtimeerrorkey ns_available(10_7, 4_3); // nserror
3、这些个三方框架
(1): vkvideoplayer
(2): almovieplayercontroller
(3): pbjvideoplayer
(4): 还有这个比较厉害的mobilevlckit
关于上面上的这些三方都给出了连接,最后一个给的是一篇帮助我们集成的文章,这些三方在后面这个系列文章的总结中会一点点慢慢的全都说一下,在这里只提一下有这些框架在,有兴趣可以先了解,后面我在总结。