欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  科技

AI相机的破与立:真AI相机标准问世

程序员文章站 2022-03-31 11:49:42
从目前手机芯片市场来看,芯片巨头联发科在去年12月份发布的HelioP90是完全符合“真AI相机”标准的,不仅提升了AI性能,还将用户体验放在首位,真正落地丰富的应用功能...

“忽如一夜春风来,万千领域皆ai”。回顾ai在手机端的应用,最突出的是ai拍照。据2018年一份手机调查报告显示,在31个受关注度超过500万的手机功能中,ai功能占据8席,其中5个是摄影类的ai功能。

AI相机的破与立:真AI相机标准问世

首先,手机拍照足够便捷,让大众随时随地拍摄自己喜欢的照片。

再次,大众不断追求成像质量,ai技术成为手机终端功能同质化问题的破局点之一。在ai技术+手机拍照后,终端厂商也在大力宣传自己产品的ai拍照功能。

AI相机的破与立:真AI相机标准问世

众多ai拍照功能中,有的强调补光,有的强调镜头,有的强调ai能力,到底消费者要如何鉴别手机的拍照能力及ai能力?有没有一个参考标准来判定真ai相机呢?

三大标准鉴别真ai相机,别让花式宣传冲昏头

芯片巨头联发科近日提出了“真ai相机”的标准,表示要通过对手机的底层技术进行分解要求,来衡量其ai相机的功能优劣,从而初步判断某个手机是否是真ai相机。判定的三个纬度如下:

1.sensor像素尺寸≥1.55μm

sensor指的是摄像头传感器的单个像素尺寸。sensor值越大时,夜拍时照片的细节越多,噪点越少,曝光需求时间越短,反应速度更快,而日常拍照颜色信息和细节则更丰富,理论色彩还原能力越强。ai在与这类硬件进行配合时的工作将主要集中在进一步强化效果上,比如进一步缩短抓拍时的曝光时间,降低暗光拍摄的影像噪点,强化夜拍成像效果。

反之,sensor值越小时,ai的工作将主要集中在弥补感光能力的劣势上,比如合成降噪,强化暗部和弱光细节,缩短夜拍反应时间,增强夜拍成像细节,降低拍摄操作难度,提升反应速度等。

AI相机的破与立:真AI相机标准问世

整体而言,ai技术可以“人性化”的自动调整拍照参数。sensor值大时,ai锦上添花,强化高端感光硬件带来的基础效果,使照片更加出色。sensor值小时,ai堪称雪中送炭,弥补低成本感光硬件的性能劣势,让照片的表现达到更高级感光硬件能做到的标准。

传统手机的sensor尺寸一般在1.4 μm以下,但近两年我们看到手机相机在追求像素、镜头数量的同时,传感器“大底”的趋势越来越明显。2018年已有多款旗舰手机采用1.55μm甚至更大尺寸的sensor,2019年将有更多传感器像素尺寸≥1.55μm的手机相机出现,而这理应成为“真ai相机”的一个基础标准。目前市场上符合这一标准的传感器有mix586、mix378、mix380等。

AI相机的破与立:真AI相机标准问世

2.ai性能跑分≥21000分

在多样的应用需求下,强大的ai性能才能实现多样的手机功能。目前的ai跑分比较有参考价值的软件是由苏黎世联邦理工学院研发的,用于评估手机处理器ai性能跑分的ai benchmark。ai-benchmark测试的是通过不同的智能手机在运行相同的ai运算时,因为硬件和软件的差异所最终体现出的速度快慢差别。因此,具备对浮点、整数两种ai模型的全面加速支持能力的芯片表现则异常出色。

AI相机的破与立:真AI相机标准问世

从现有的ai性能跑分来看,21000分是一个较为明显的分水岭。高通骁龙855、联发科helio p90、华为麒麟980均入围,三家芯片巨头的旗舰产品均能达到21000分以上。以ai算力和算法的迅猛发展之势,2019年定会有更多芯片入围并突破最高分。此外,ai专核可以解决边缘ai算力的困境 ,用低功耗带来更高的ai性能,因此,有无ai专核也是衡量ai性能的一个重要因素。

3.imagiq isp

isp是手机芯片中负责图像信号处理的单元,对图像进行降噪、色彩补偿、效果优化等。

手机的isp一般会集成在芯片处理器中,芯片级isp的优点是性能稳定、功耗可以得到良好的控制。当下,手机的摄像像素越来越高,抓拍、夜拍、高清、甚至4k摄像,手机对isp的处理性能要求越来越高。而ai技术的加入,可以让isp性能提升更加明显,不仅可以大幅度提升手机相机的响应速度,更能够实现人脸识别与自动场景识别等复杂功能。

以联发科的产品为例,imagiq图像信号处理器是联发科自研的isp技术,在helio p60上已经采用了三核isp,可以通过硬件侦测人脸、实现更复杂的降噪处理、全像素多核对焦、通过硬件实时提供景深信息等。而现在,联发科helio p90支持三核isp同时开启,isp性能更强,处理图像的能力也就更强。

AI相机的破与立:真AI相机标准问世

综上所述, cmos像素传感器+ai专核性能+芯片层的isp技术,这三个维度的硬件技术要求可确保ai相机的功能性和成像表现,只有全部达到才可称之为“真ai相机”。 目前来看,能够同时达到这三项标准的智能手机,也只有搭载了联发科技helio p90、海思麒麟980、骁龙855的屈指可数的几款旗舰机。但在2019年,我们会看到有更多的手机是“真ai相机”,普惠广大消费者。

瞄准传统拍照体验痛点,ai相机颠覆拍照体验

说到手机拍照的痛点,很多人一定有过这样的经历,抓拍孩子笑脸咔嚓了很多张挑不出清晰的,晚上暗光环境拍完放大以后不仅看不到细节还看到一堆噪点……普通用户通常会把这些问题归咎于手机像素不够、镜头不好、手机不好、自己拍摄技术太差等原因上。现在“真ai相机”可以简单高效的解决这些问题。

以联发科helio p90芯片为例,搭载该芯片的手机通过强大的ai算力,结合ai算法,可以解决手机拍照、视频等场景下的多种拍照问题,例如:在夜晚和暗光拍摄时画面亮度偏暗、噪点过大、动态范围不佳等画质问题,通过人工智能学习高画质数码相机的成像特性,还原景物原有的细节纹理并移出噪点,使画面品质得到整体提升;还可以在手机捕捉动态影像时,解决拖影、物体成像模糊、细节不清晰等问题;在视频时提升画面焦点清晰度,改善视频通讯画质等。

真ai相机功能实拍,成像效果对比一目了然

基于联发科helio p90等具备强大ai能力的移动平台的推出,“真ai相机”已经实现多种实用的和创新的应用功能,改善手机相机的传统拍照体验。

以联发科helio p90为例,它具备丰富的“真ai相机”功能:

1、ai抓拍:ai动态人像降噪技术,通过ai噪点训练、14-bit高动态范围isp和ai多帧降噪处理,解决了手机抓拍拖影、成像模糊等问题;

AI相机的破与立:真AI相机标准问世
AI相机的破与立:真AI相机标准问世
AI相机的破与立:真AI相机标准问世

真ai相机在抓拍时能优化去噪算法和参数,在缩短曝光时间达到3毫秒水准的同时,最大限度保留了画质的纯净,不会出现相片残影、噪点密布的情况。

2、ai夜拍:ai影像噪点消除技术,保留暗光下的细节,媲美人眼再现真实。

AI相机的破与立:真AI相机标准问世
AI相机的破与立:真AI相机标准问世
AI相机的破与立:真AI相机标准问世

在夜拍时采用多帧降噪技术,针对不同的摄像头传感器在低光下的成像特征和噪声分布进行优化,并结合平台isp特性优化去噪算法和参数,再进行多帧对齐的智能合成算法,生成高亮度、低噪点、真色彩、保留最佳细节的结果图,画质上达到类似传统相机iso降2-3档的效果。

3、 ai视频景深:ai边缘精准辨别,背景虚化智能锁焦,实时高画质背景虚化视频。

AI相机的破与立:真AI相机标准问世
AI相机的破与立:真AI相机标准问世

依托联发科技强大的ai算力,结合ai算法,真ai相机可以实现高达1080p分辨率下30fps的ai视频实时景深功能。在图像的处理上,优化拍摄主体的边缘细节,达到完美分割背景与主体的功效,甚至能让3000元价位的手机得到万元单反镜头的效果。

4、ai焦点直播:ai智能焦点区域侦测技术,实现重点区域编码,提升视频码率和压缩质量,直播画面时时清晰。

AI相机的破与立:真AI相机标准问世
AI相机的破与立:真AI相机标准问世

直播过程中,真ai相机凭借ai边缘计算,调动底层硬件并结合算法,从而达到在网络带宽有限的条件下,实现重点区域编码,优化直播主体特征,呈现更清晰的细节。焦点直播功能在虎牙、斗鱼、yy直播平台都有明显的画面改善功效。使用手机进行视频通话时,在网络带宽信号不佳的地方也有同样的效果。

5、ai人像留色:ai加速、浮点定点运算技术,实时人像留色,拍照视频都是c位主角。

AI相机的破与立:真AI相机标准问世

(gif图:ai人像留色效果,稳定不掉帧)

6、ai美体:ai算法深度合作,减肥、长腿、提臀、收腰等多种功能实时美体。

AI相机的破与立:真AI相机标准问世

7、ai人脸侦测:ai人脸识别技术,快速侦测反应,准确判断位置、角度、性别等信息。

AI相机的破与立:真AI相机标准问世

(gif图:ai人脸侦测速度对比、快速准确、适用于各种场合)

8、ai人体姿态识别追踪:强劲的ai算力结合算法,精准识别多人快速移动姿态,可结合ar场景,实现创新的人机互动应用。

AI相机的破与立:真AI相机标准问世
AI相机的破与立:真AI相机标准问世

( gif图:ai人体姿态追踪效果,多人实时识别且具有精准度)

9、ai识物:对多件物体同时进行快速、精准的识别与追踪,轻松实现低延时、低带宽的边缘ai智能识物。

AI相机的破与立:真AI相机标准问世

技术与功能紧密结合才是王道,“真ai相机”将带来颠覆体验

相机作为智能手机的基本功能点,在很长的一段时间里进入了比拼像素、软件优化、镜头堆叠等白热化竞争,并没有深入的从用户拍照体验上进行根本改善,ai人工智能的出现,将从底层对拍照功能进行优化提升。从“传统拍照”到“真ai相机”的升级,不仅是基于产品本身的升级,更降低了手机摄影的门槛,可以让用户在更多场景享受拍摄乐趣。

“ai相机”作为一个并不算新的概念,在过去很长时间里,更像一个“营销噱头”;而现在,“真ai相机”从最底层进行的人工智能升级,是科技转化成为成果的重要体现,其有望颠覆手机相机的用户体验,重新定义手机的“新高端”。

从目前手机芯片市场来看,芯片巨头联发科在去年12月份发布的helio p90是完全符合“真ai相机”标准的,不仅提升了ai性能,还将用户体验放在首位,真正落地丰富的应用功能,带给用户更多颠覆性的创新体验,凭借heliop90悄然开启了新高端的布局和转型。

文/刘旷公众号,id:liukuang110

相关标签: ai技术