麒麟9000全球首创ISP+NPU融合架构强在哪儿？超越极限的“慧眼”

【影像飞跃：麒麟9000彪悍的另一面】

这两年，手机soc领域群雄逐鹿、精彩纷呈，2020年我们陆续见证了华为麒麟9000、苹果a14、高通骁龙888等一众“好汉”的轮番登场，其中华为麒麟9000可以说是最特殊，也是最值得研究的一个。

作为全球第一款5nm工艺的5g soc完整解决方案，麒麟9000在性能、连接、ai、影像、安全等各个方面都实现了创新式的突破，尤其是在影像领域大杀四方，其赋能的华为mate 40 pro+、mate 40 pro两款手机在dxomark榜单上分别以139分、136分傲居第一、第二！

不过，以往谈论一款手机影像能力的高低，我们往往会把目光都集中在cmos传感器、摄像头的配置上，却很容易忽视在幕后默默贡献的isp(图像信号处理器)。事实上在手机影像系统中，isp在很多场景的重要性更甚于摄像头。

打个形象的比方，如果把摄像头视作能打仗的士兵，isp就是指挥战斗和战争的军官——没有合理的指挥，再强的士兵也是无头苍蝇；如果摄像头是看清世界的“眼睛”，isp就是掌控一切的“大脑”。

而在另一方面，我们刚才一直说“影像”而非“拍照”，是因为用户追求越来越多的，不仅仅是要把照片拍好，更要把视频拍好，毕竟这是一个视频的时代，动起来才更精彩。

麒麟9000其中一项独到之处，恰恰就是将isp提升到了一个全新的层次，尤其是业界首次实现isp+npu的融合架构，不但拍照强悍无与伦比，更让视频捕捉焕然一新。

比如超强的细节还原，比如显著的降噪能力，比如极高的能效，尤其是在暗光环境下堪称升级版的“夜视仪”，再次走在了时代的最前沿，只留给友商一个远去的背影。

正是有了这样强悍的根基，华为mate 40 pro系列不但拍照水平一骑绝尘，视频捕捉更是独领风骚，双双霸占dxomark榜单前两名。

【低调的劳模：isp要干的事儿太多了】

要想理解麒麟9000 isp+npu融合架构的精妙之处，我们需要把时钟往回拨一下，先了解几个基本概念术语，看看isp是多么不容易。

众所周知，图像传感器(image sensor)是数码相机、智能手机拍照、拍视频的“眼睛”(相机里是ccd/手机里是cmos)，最终呈现的色彩、细节都取决于它，其原理是通过一个一个的感光点，对光进行采样和量化。

但很多人可能并不知道，图像传感器其实是“色盲”，如果只用它拍出来的照片就是黑白的，需要搭配色彩滤波器(cfa)才能获得色彩信息。

1976年，柯达的拜耳发明了rgb cfa，也就是色彩滤波器 ，如上图可理解为双层结构：上层红(r)绿(g)蓝(b)三色的色块就是色彩滤波器，白光透过滤波器后分离出红绿蓝三原色；下层灰色的色块则是感光光电二极管(pd)部分，负责将滤波器送来的光信号转换为电信号，再由后续各种算法进一步处理，并最终成像。

可以说，滤波器的表现如何，是照片、视频色彩、细节还原的基础。

当然，从滤波器滤出的rgb色彩，到最终照片上的精彩，需要经过各种复杂算法、技术的处理，这其中有三个是起着决定性因素的。

一是demosaic插值算法。

rgb拜耳阵列中的每一个像素只能采集一个颜色通道信息，另外两种颜色信息需要通过插值算法，结合相邻其他颜色的像素信息计算出来，这样一个像素的色彩才是完整的。

这个过程有点“去马赛克”的味道。

二是自动白平衡(awb)。

由于色温的影响，白色并不是一直纯白无瑕，在低色温下会偏黄，高色温下则会偏蓝。如果不进行校准使之恢复平衡，色彩就会完全混乱，毕竟白色是三原色和任何色彩的基础。

于是就有了白平衡，可以让任何色温下白色物体的rgb三原色比例关系都是标准的1:1:1，呈现准确的白色。

白平衡算法很多，最常见得有灰度世界算法、完美反射算法、动态阈值算法这么三种。

三是色彩校正矩阵(ccm)。

相机或者说图像传感器是机械式的，而人眼是生物式的，二者的感光曲线截然不同，或者说rgb响应曲线并不一致。

白平衡只能处理白色，其他颜色的准确度则需要ccm来校准，也可以用来调节色彩风格，就是各种不同的“滤镜”。

ccm的原理和过程很复杂，这里就不展开了，具体算法大致可以分为模型法、经验法这么两类。

说了这么多，其实无论插值算法还是awb、ccm，都需要一颗强大、优秀的isp，才能越做越好，让最终呈现的色彩更贴近大自然，或者看起来更养眼。

【麒麟990系列：isp+npu初步联手、ryyb物尽其用】

多年来，华为一直在全力提升手机的影像水平，尤其是近几年始终处于行业最前列，这其中不仅有摄像头的贡献，更有isp层面的创新。

2015年，华为第一次完成自研isp，应用于麒麟950，此后每一代都经历一次蜕变，逐渐成为华为手机拍照登顶世界的根基。

到了麒麟990系列，已经内置全新isp 5.0，吞吐率提升15％，能效提升15％，照片和视频降噪能力提升30％、20％，手机端首发单反级降噪技术bm3d，全球首发双域联合视频降噪技术。

同时还有创新的华为自研达芬奇架构npu(神经处理单元)，两个大核加一个微核的特殊架构，兼顾高性能与高能效，并且isp、npu已经开始初步联合，探索全新的ai摄影。

而基于麒麟990 5g的华为p30系列创新引入了ryyb cfa超感光图像传感器，其中y代表黄色，取代传统的rggb格式中的g绿色，光谱响应更宽、光谱覆盖更广、能感应更多光子，总体进光量因此提升了30-40％，暗光场景信噪比更佳，夜拍效果更上一层楼。

不过，ryyb作为新生事物并不容易驾驭，传统isp的插值算法、awb、ccm很难处理y黄色像素的丰富色彩信息，精准还原难度非常大。

为此，华为一方面在后续的mate 30系列上采用了ryyb、rggb相搭配平衡的设计，另一方面引入基于ai神经网络的插值算法、awb、ccm，并整合在麒麟990 isp流水线的图像处理过程中，为传统isp流程增加了计算摄影处理，再经过大量的ryyb传感器raw数据训练之后，可以有效找到物体细节、色彩分量之间的复杂映射关系。

可以说，如果只是单纯地变革图像传感器，而不能在硬件、算法上同步革新，不但不能提升手机的影像水平，反而会陷入混乱。

麒麟990正是凭借强劲的npu性能，逐步完善了对于全新复杂ryyb cfa的支持，释放了其对色彩处理的强大潜力，尤其是在视频实时处理方面迈出了一大步，提升了4k视频的暗光细节表现、色彩还原效果。

【麒麟9000：isp+npu深度融合、超越人眼极限】

在最新一代的麒麟9000处理器上，华为更进一步，全球首创实现了isp+npu的融合架构，没有像友商那样单纯地追求堆积更多isp，而是通过精密设计的融合架构，将isp处理流水线、npu矩阵计算有机地融合在一起，不但拍照更加游刃有余，更是实现了实时视频的像素级处理。

这样的融合架构对于静态照片处理已经不费吹灰之力，这里不再赘述，重点看看视频处理。

毕竟，照片都是单独的一帧，视频则是连续变化的静态帧组成的，处理24fps的视频相当于每秒处理24张照片，而对视频进行像素级的实时处理，无论对于硬件设计还是软件算法都提出了空前的考验。

在传统的isp视频流处理过程中，受制于isp性能有限、硬件模块相互隔离、处理带宽不充分等因素，isp只能老老实实地逐帧处理，一切排队进行。

加入npu助力之后，可以加速处理这一过程，但处理过程中以帧为单位，依然需要排队。比如当isp处理第一帧时，npu需要等待isp处理完成后才能接替。

麒麟9000改变了这一切，不但集成最新的isp 6.0，还支持四流水线并行，吞吐量提升50％，视频降噪能力提升48％，3a(自动对焦/自动曝光/自动白平衡)处理能力提升100％，而最大亮点当属首创了isp+npu融合架构。

isp+npu融合后，直接将数据、信息完全打通，使用硬件直连的方式，将原本独立的npu计算直接融合isp的处理流水线中，再结合大容量、高带宽的智能缓存smartcache 2.0，使得输入数据流、输出数据流都连续不断，整个过程中没有任何停顿和等待，数据可以无缝缓冲、实时处理，效率提高了不止一个档次。

同时，isp+npu融合架构改变了逐帧排队处理的传统方式，对每一帧进行切片(slice)，也就是拆分成更小的单元，处理的基本单元不再是一整帧，而是一个个小的切片，从而将每一帧内部、不同帧之间完全打通，加速数据的传输与处理。

这样一来，isp+npu联合就实现了基于帧内分块的视频流智能处理。

如上图，假设每个视频帧都拆分成四个切片，isp可以先处理其中两个切片，快速处理完之后交给npu进一步加工，此时isp就可以同时处理该帧的剩余两个切片，以及下一帧的头两个切片，如此往复循环，从而大大缩短等待时间，提高处理效率。

当然，每个视频帧拆分成几个切片、npu/isp每次处理几个切片，都是极其灵活的，可以根据每一帧的不同数据量、处理难度来智能切割，还可以在同一帧内应用多种不同算法，流水线效率不可同日而语的同时，还可以得到更丰富的处理效果。

很自然的，这种联合处理对于isp、npu的协同效率提出了极高的要求，毕竟稍有不慎反而会影响整个流程的顺畅性。麒麟9000凭借丰富的isp研发经验、自研华为达芬奇架构2.0 npu的强劲ai算力，一切都搭配得天衣无缝。

数据显示，麒麟9000在处理器4k视频的时候，可以在33毫秒甚至更低的时间间隔内完成计算任务，尤其是在夜景等会产生海量数据的复杂环境下，可以充分发挥isp+npu融合架构的极高处理效率，实现丰富细节的精准色彩还原。

如果你觉得这些理论分析有些难以理解，这里我们来看一个实际例子，感受下isp+npu融合架构的神奇魅力。

如上动图，圆圈中的愿景物体是一个迷你风车，四个叶片又长又细还是深色调，又处在偏暗的环境中，一般情况下即便只是拍照，也很难清晰捕捉到其色彩细节，甚至可能根本就看不清对象本身，更不用说拍视频。

但是在麒麟9000平台上，得益于isp+npu融合架构一整套方案的智能化处理，可以看到在捕捉的视频中，风车扇叶异常清晰，色彩清晰，衔接过渡自然，和背景区分明显，运转动作也是如行云流水一般的顺畅，甚至连扇叶头部、尾部因为运动快慢不同而导致的模糊程度不同，都展现得淋漓尽致，可能连人眼都捕捉不到这么逼真、翔实的细节。

【isp+npu融合：干活更多 功耗控制更好】

那么，isp+npu融合架构之后，要干的活儿更多了，会不会更加耗电？这里就体现了融合架构的另一个好处，计算性能上去了，功耗还能很好地得到控制，更好地完成更多任务。

众所周知，手机拍摄视频的时候是相当耗电的，远高于静态拍照，但是麒麟9000经过多重努力，实现了“马儿跑得快、马儿不多吃”的神奇效果。

一是针对大量数据输入场景进行智能切块处理，从而大幅降低网络中间层对计算内存的需求；

二是切片级的数据交互，有效控制算法时延，再结合smartcache缓存，有效控制视频场景的功耗。

【融合架构背后的难度 超出你的想象】

你可能会说，这一切看起来似乎也没什么难的，但是芯片层面的创新，从来和简单二字无关，isp+npu融合的难度和技术挑战也是常人难以想象的，简单来说主要是如何达成算法效果、计算性能、计算能耗三者的平衡。

为此，在设计硬件融合架构的同时，为了释放硬件潜力，华为也在软件算法上花费了大量心思，做出了大量创新，比如说ips链路的像素级别(pixel level)的ai算法，搭档算力强悍的ai芯片，实现高能效的端侧软硬结合完整方案。

同时，如今的影像场景下，数据处理都是海量级别的，而且极为复杂，这就需要整个流程方案具备很强的鲁棒性(稳健性)，而且为了提高处理大数据量的效率，模型结构也要满足一定的计算约束，必须利用网络结构搜索、混合量化等技术，让模型结构与加速硬件高效配合。

特别是在4k超清分辨率下捕捉视频，流水线中的图像数据量比以往多了几个数量级，毕竟单帧4k图像处理就已经对ai提出了很高的要求，更何况视频场景下需要实时进行多帧处理。

举例来说，4k 30fps的视频捕捉场景下，整个isp链路必须在33ms内完成单个帧的计算工作，其中留给ai算法进行计算处理的时间就更短，真正的电光火石之间就要处理到位，而一旦计算效率、性能不能满足，视频处理过程的效率就会急剧下降，反应在用户体验上就是严重的卡顿，这自然是无论如何不能接受的。

另外，任何硬件设计、算法设计都要考虑功耗，必须在可控范围内，否则就会导致明显的手机发热。相信大家都有感触，日常连续拍照、拍视频的时候，手机会明显发热，更何况加入如此复杂的计算流程。

因此，为了达成最佳的影像效果和用户体验，突破性的算法效果、快速高效的计算性能、优秀可控的计算能耗，三者是缺一不可的，而麒麟9000 isp+npu融合架构，恰恰几乎完美地做到了这一点，才有了最终呈现在我们眼中的精彩影像。

【一路坐强的麒麟：未来可期】

总的来说，华为手机这几年在影像能力上持续稳居世界最前列，拿第一拿到手软，坐榜首坐到寂寞，不但来自于精妙的摄像头系统，更离不开麒麟芯片、isp处理器、npu神经处理单元的鼎力支持。

正是源于这持续不断的革新，我们才通过小小的手机，越发清晰地看清、记录整个世界的精彩，留下那一个个令人难以忘怀的瞬间。

从整个行业来看，目前做到从芯到端协同升级的，也只有苹果、华为这两家*巨头，而苹果陶醉在自己的封闭生态内，华为则呈现的是一个开放的世界。

眼下，华为麒麟的发展遇到了前所未有的桎梏，原本无限光明的前景蒙上了厚厚的阴影，但打铁还需自身硬，经过多年来的一步步稳扎稳打，相信华为麒麟有实力面对任何艰难险阻。

期待麒麟的下一站更精彩！

- the end -

转载请注明出处：快科技

责任编辑：上方文q