欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  移动技术

小米10率先使用 骁龙865不止提升性能:AI算力和应用更有看点

程序员文章站 2022-05-07 09:30:25
全新一代旗舰移动平台骁龙865已经正式发布,预计2020年第一季度就可以看到搭载该平台的产品上市。 从官方公布的数据以及随后披露出的性能测试数据来看,骁龙865无疑还...

全新一代旗舰移动平台骁龙865已经正式发布,预计2020年第一季度就可以看到搭载该平台的产品上市。

从官方公布的数据以及随后披露出的性能测试数据来看,骁龙865无疑还是安卓阵营标杆产品。

骁龙865安兔兔跑分达56万,但这对于骁龙8系平台来说,只是常规操作,我们已经习以为常。而其不断增强的ai性能,以及广泛的ai用例似乎更有看点。

小米10率先使用 骁龙865不止提升性能:AI算力和应用更有看点

先来回顾一下骁龙865 ai方面数据。由cpu、gpu、dsp、内存、缓存等模块共同组成的第五代ai engine,运算能力达15万亿次/秒(tops),是骁龙855的2倍多,是骁龙845的5倍。

小米10率先使用 骁龙865不止提升性能:AI算力和应用更有看点

其中,作为ai engine核心的hexagon 698处理器,引入了全新升级的hexagon张量加速器,算力是上代的4倍以上,能效提升35%。

同时支持深度学习带宽压缩,无损压缩率超50%,可为soc其它部分释放带宽,节省内存传输而节省功耗。

adreno 650部分支持16位、32位浮点运算,支持新的ai混合精度指令,算力提升2倍以上。另外,lpddr5内存将带宽增加30%,有助于优化ai处理。

骁龙865整体ai性能提升非常明显,那么这么强大的ai算力能够做什么,也是我们关心的。

在骁龙技术峰会上,高通展示了丰富的ai用例。ai已经并将持续改善我们的终端使用体验。

1、实时互译+实时语音转文字/语音

基于强大的ai算力,骁龙865可以为基于ai的实时翻译提供支持。

在骁龙技术峰会现场,演示了实时的演讲语音英中互译,且实时转文字。转换的正确率、效率都达到了很高的水准。

演示结束,现场观众无不发出惊叹。如此高的互译速度和效率在移动终端平台上应该尚属首次。

对于媒体工作者来说尤其适用,将大大提高工作效率,减少不必要的麻烦。

可能未来在大型的会议现场,不再需要速记,不再需要中英同传,这些都可以依靠ai来实现。

小米10率先使用 骁龙865不止提升性能:AI算力和应用更有看点

关于实时翻译的另外一个场景,出国的时候相信大家都一定遇到过语言不通的尴尬。

虽然我们也从小开始就学习英语,但熟练掌握并运用的其实并不多。上述的演示意味着,未来手机上实时语音互译不是问题。

需要强调的是,不同于常规的翻译棒产品(需要录入声音再翻译),这一互译是“实时”的。

以后我们在国外与当地人交流的时候应该是这样的:对向而坐,手机放桌上,你一言我一语。

他说英语你听到的是中文,你说中文他听到的是英语,好像用同种语言交流一样顺畅。没有等待,没有任何障碍。相比翻译棒,这种体验可高级太多了。

vlog视频博客的兴起,极大改变了用户获取信息的方式,更多用户偏向于用vlog的形式分享生活、分享各种信息。

而在视频处理中,添加字幕一直都是最耗费时间和精力的步骤,尤其是视频剪辑工作者对此应该深有体会。

小米10率先使用 骁龙865不止提升性能:AI算力和应用更有看点

在骁龙技术峰会之后,首发骁龙765g移动平台的redmi k30正式发布。

其中,redmi带来了一项颇为惹眼的功能:视频实时字幕。即用户在录制视频的时候,可以将用户所说的话实时生成字幕,并添加到视频中。

它极大简化了视频剪辑后期的处理时间,优化了效率,让大众用户也能成为专业的vlog创作者。而这一功能的实现自然也是依托于不断提升的终端ai算力。

2、手机多摄镜头平滑变焦

多摄已经成为手机相机的主流,其主要作用是用不同的镜头应对不同的拍摄场景,以实现更好的拍摄效果。

另外一大作用就是通过不同焦段的镜头组合实现接力变焦,但现在大多数安卓手机上的变焦体验并不是很好,变焦体验饱受诟病。

原因在于镜头切换时因镜头素质的差异,会造成白平衡、色彩等观感的跳变,非常不顺滑。

在骁龙技术峰会上,高通展示了与虹软合作,通过虹软全新算法可实现媲美单反相机的平滑自然变焦体验。

ai应用于拍照优化很早之前就有了,平滑变焦应该是拍照优化的又一个延伸。

通过大量的实时ai计算,使各个镜头呈现的画面观感达到惊人的一致,最大程度上消除镜头切换时的跳变,让变焦变平滑。

3、更好玩、更有趣

骁龙技术峰会上,qualcomm technologies产品管理副总裁ziad asghar展示了loomietalk。

该应用程序重点展现了在qualcomm骁龙865移动平台之第五代ai engine人工智能引擎上运行时,利用qualcomm骁龙神经处理sdk后,loom.ai实时sdk创建的3d虚拟形象极富表现力。

这些虚拟形象可以在手机的视频会议中实时镜像面部表情和动作。loom.ai借由骁龙移动平台的人工智能功能,可在移动硬件上大规模高效部署loomie 3d虚拟形象。

小米10率先使用 骁龙865不止提升性能:AI算力和应用更有看点

loom.ai只需使用一张照片,就可创建出一个完全可定制且具有用户特征和动作的loomie 3d虚拟形象。

它将深度学习与高级cgi相结合,可捕捉带有微表情的细腻动作,并将其应用到用户loomie中。

就现场的实际体验而言,还是相当震撼的。loomie 3d通过对使用者的捕捉,可以实时呈现出一个3d的虚拟形象。

即便身处异地,也能通过虚拟形象实现面对面的无距离感的交流,增强员工协作,提高工作效率,所营造出的轻松愉快的氛围同时也可提升企业文化。

4、持续优化手机拍照

前面也已经提到,ai很早就已经应用于手机拍照优化了。

通过对实际环境的捕捉和实时分析,甚至可以令手机的成像水准突破传感器成像能力的天花板。

传感器的成像能力虽然一直都是在逐步提升的,但ai一定更是手机影像的未来。

小米10率先使用 骁龙865不止提升性能:AI算力和应用更有看点

ai最早应用于手机拍照优化的用例应该就是人像美颜了,通过人脸的精确分析,针对每个人的脸部特征做针对性优化,避免了整体磨皮、提亮造成的千篇一律。

小米10率先使用 骁龙865不止提升性能:AI算力和应用更有看点

在ai算力逐步提升之后,不仅照片可以美颜,视频同样也可以。

现在已经完全可以做到视频中的实时美颜美体,也在一定程度上成就了“全民直播”,人人皆可美,人人皆可做主播。

而到了现在,15tops的ai算力可以为手机影像带来哪些提升?

相机传感器的成像能力是有上限的,无论单位面积多大的进光量,在极限夜间、暗光环境下无论怎么做算法优化都不可避免会出现噪点,画质不佳。

ai降噪则可以突破传感器成像能力上限,通过对画面的实时捕捉和分析再进行处理,优化画质,提升纯净度,得到一张观感更好的照片。

小米10率先使用 骁龙865不止提升性能:AI算力和应用更有看点

因为手机的内部空间弥足珍贵,手机相机传感器要想获得更好的画质,势必要增大传感器面积和体积,总会有上限。

并且与手机追求高度集成、轻薄化的趋势相悖。正是因为终端平台ai算力的不断提升,可以对手机成像做出更精细化的处理。

总结

可以看到,正是依托于骁龙865移动平台强大的ai性能,更多的功能已经得到实现。

而现在我们看到的功能相信还只是冰山一角,未来,无论在影像、还是交互方面,ai还将持续对手机使用体验做出更深度优化。

对于骁龙8系旗舰平台来说,性能方面的领先,已经是习以为常的常规操作。

而此次骁龙865大幅提升的ai算力以及高通所搭建的ai生态,才更有看点。基于ai,更多的功能演进持续发生,正不断提升着用户体验。

当然,还有更重要的是,小米10将首发骁龙865旗舰平台,明年q1将正式亮相。

小米10率先使用 骁龙865不止提升性能:AI算力和应用更有看点