欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  科技

深度揭秘英特尔打造的融合现实头显Alloy

程序员文章站 2022-06-07 15:08:38
从很多方面来说,虚拟现实还是个探索中的领域。Facebook在2014年对Oculus的收购很大程度上缩短了未来主义电子产品推向消费者的进程。对于其他科技巨头而言,Oculus的收购就是一个信号。当年...

深度揭秘英特尔打造的融合现实头显Alloy

从很多方面来说,虚拟现实还是个探索中的领域。

Facebook在2014年对Oculus的收购很大程度上缩短了未来主义电子产品推向消费者的进程。对于其他科技巨头而言,Oculus的收购就是一个信号。当年手机市场能获得如此成功的原因就是市场及时发现了下一个趋势,抓住了时机。对于那些手机业务玩的不太顺的公司来说,下一个信号就是虚拟现实技术。

虽说听起来有些讽刺,但大力投资AR和VR技术的公司中很大一部分都是那些在手机领域革新失败或是失控了的那些。

HTC在手机业务崩溃之后开始把VR转为核心业务。昔日的手机市场之王诺基亚如今则在奋力开发高端VR录屏工具。Windows Mobile从未成功过,微软也在全力以赴开发VR头盔用的Windows Holographic OS。

英特尔过去十年来的衰败也是由于公司屡次在手机市场错失良机而造成的。公司走保守派的决定也导致它会在与高通、苹果和三星等巨头的竞争中处在劣势。今年四月份,公司曾宣布裁掉1.2万名员工,并终止Atom手机芯片的部分业务。

英特尔CEO Brian Krzanich第一个承认公司在手机市场的惨败完全是自找的:

“我们曾以为计算会止于PC,但事实证明我们大错特错。微软的新CEO Satya曾说过,我们这一行不在乎传统,我们尊重创新。我想他说的是对的;这就是为什么我们彻底失去了手机市场的良机。”

英特尔已有50岁,而Brian Krzanich自从1982年作为工程师入职以来和英特尔共度风雨也有30多年了。他认为公司的VR项目开始得非常早,很有可能今后会成为英特尔的重要业务。

想当年,VR还是像电影《创:战纪》一样遥不可及的幻想。2016年,虽然VR已经开始普及,但很多持有批判态度的人仍然认为这不过是商家为平庸无奇的小创新搞出来的宣传噱头。

这次,我有幸参观了英特尔的VR实验室。该实验室坐落在英特尔圣克拉拉总部,主要研究如何把人在现实世界中的感官体验复制到虚拟世界中。目前英特尔正在研发公司的首个头戴式VR头盔Project Alloy,这个无线独立头盔采用了英特尔独有的VR技术:Merged Reality(MR),也就是融合现实。

深度揭秘英特尔打造的融合现实头显Alloy

MR魔法

虚拟现实的技术词语日益增多,现在我们已经有Virtual Reality(虚拟现实)、Augmented Reality(增强现实)、Mixed Reality(混合现实),如果有一天出现了Real Reality也没什么好奇怪的。在英特尔的Project Alloy项目中, 最重要的创新之一就是Merged Reality(融合现实)。

融合现实就是通过VR和计算机视觉的结合让头盔自动识别周围的物体,例如人、地点和环境等等。英特尔的计算机视觉摄像头阵列RealSense对于MR技术至关重要。RealSense也被应用在英特尔的机器人、无人机和自动驾驶车。

RealSense可以让人们在带着头盔的时候在虚拟环境中透过显示器看到部分现实世界,例如自己的身体和别人。英特尔希望这项技术可以让人们把VR环境和复杂的现实环境融合在一起。

深度揭秘英特尔打造的融合现实头显Alloy

The Lab实验室

英特尔的圣克拉拉园区简直就是一台工作中的巨型机械。当公司部分高管和员工带着我通过(非常严格的)安检、穿过走廊时,我始终都能听到工程师们点击鼠标敲击键盘的声响。

走进实验室一楼,我的第一反应是:实验室好空旷。在我探访期间,实验室的工作人员都不在场,很多区域也处于*状态。之前听到的各种杂音也全都消失,实验室里放着最先进的3D音效室,用来研究MR环境下的动态音频。

第一个向我挥手的是放在装有传感器的透明笼子中的机械臂。公司用它来研究手部动作和开发追踪手势用的算法。虽说Oculus、HTC和索尼等公司已经推出了VR用的动作追踪控制器,英特尔希望可以把手部追踪技术推到下一个层次,提高精细度,让互动变得更加无缝和流畅。

向机械臂道别之后,我来到了更为空旷的六楼。公司会在这里设计Inside-out追踪程序,让Project Alloy做到彻底无线。

目前,大多数好的VR设备都是有线的,使用者想使用头盔就得把线接到电脑上。这种系统也会用外部传感器来追踪位置,好知道使用者所在的确切地方。

但Project Alloy用RealSense传感器通过使用者离周围物品的距离来确定位置。你再也不用拖着根线走来走去了;你可以带着头盔在房间里随意走动,爱怎么折腾怎么折腾。

Project Alloy

英特尔用来测试头部追踪的机器人看起来非常诡异,头上配有摄像机作为眼睛。在基本了解它的机制之后,我决定亲自尝试Project Alloy demo。

第一代头盔追踪位置用的传感器是DS4 Real Sense摄像头, 应用处理用Skylake芯片组,计算机视觉处理用的是英特尔Atom。

第二代产品Alloy 2目前还在研发中。Alloy 2将会搭载新RealSense 400摄像头,处理器升级为Kaby Lake。不过有趣的是Atom将会被弃用,改用英特尔最新收购的Movidius生产的视觉处理单元。

戴上头盔后,我的第一体验是佩戴出奇的舒适,平衡感也很好。整个demo大约15分钟,但带给我的惊喜非常多。

有些部分略显粗糙,有些部分非常细腻;但总体而言,英特尔的Project Alloy是一款非常出众和独特的VR设备。原型上使用的Inside-out追踪技术发挥了作用,但DS4 RealSense摄像头的精确度有些差强人意。还好下一代Alloy会升级摄像头,位置追踪想必也会更精确。

但整个头盔究竟会怎样,最后还是要看代工生产的硬件到底会如何。英特尔自己也承认消费硬件生产并非公司的长处,英特尔最擅长的还是展示基础技术。

“英特尔虽然专攻硬件和体验,但我们绝对不是实体设备生产商。”英特尔高管Tim Parker告诉我。

Alloy 2终究还只是个参考设计,虽然英特尔会与“微软和其他合作方”联手改进性能。英特尔并不打算在近期内进军消费电子业务,但Krzanich希望Alloy头盔可以把英特尔带到下一代VR设备中。

“我们的目标就是在明年年中之前完成Alloy并将其开源化。开源化可以让所有人都有机会做出贡献,就像微软的PC业务一样。”Krzanich说道。

我非常好奇的是:英特尔要如何把技术整合进有线MR体验?不过非常重要的一点是英特尔已经通过高端PC芯片和有线VR技术建立起了紧密的联系。有趣的是,我接触到的公司高管似乎都对于Alloy的无线属性避而不谈,更多时候我们的谈话会刻意回到有线VR设备。

“无线化对我们来说不是什么难事。只要把所有计算整合进头盔,用别的方法完成位置追踪,无线化完全没问题。但如果你追求低延迟的高端游戏体验,那么无线系统是无论如何也比不上有线VR系统的。”Krzanich说道。

英特尔要做的重大决定之一是MR是否真的如此重要,是否真的值得公司投资生产VR专用芯片组。不然的话,对于像英特尔这样专门给高端PC制造芯片的公司而言,生产需要高端PC芯片的头盔也是再正常不过了。至于公司是否要转向VR专用芯片组,Parker并没有给出直接评论。

深度揭秘英特尔打造的融合现实头显Alloy

英特尔的愿景

尝试Alloy demo之后,我不禁好奇,英特尔从此以后究竟会走向何方?Alloy目前还只是内部开发工具,但由于RealSensse和Movidius的支持,它给英特尔带来了很多选项和方向。

在与RealSense和Movidius高管交谈之后,我发现英特尔显然已经有了进军VR和AR市场的计划。

英特尔感知计算实验室副总裁Achin Bhowmilk带我参观了公司的首个MR环境下的RealSense模型。这些传感器阵列不仅仅会进行空间映射,还会在多房间的环境中辨别物体。在一系列辨识测试中,传感器成功找出了房间中的一张桌子和四个椅子,每种情况下给出的确定度也各不相同。

Bhowmilk告诉我:“这个产品背后的理念是感知和理解世界。”

这套系统比起我在PC上用的RealSense真是甩了几百条街。RealSense的第一代产品效果实在堪忧。PC的输入系统还没有准备好让RealSense发挥真本事。

在VR环境中,RealSense终于有机会展示其计算机视觉的敏捷性了。Krzanich表示,他希望这项技术有一天能发达到为使用者识别通讯录上的联系人,这样你在散步的时候如果有熟人经过,设备就会自动在你的视野中提醒你。

“RealSense的最初灵感就是在实验室里诞生的。我们当时在思考键盘和鼠标在诞生后的这20年来究竟是如何成为人机互动的渠道的,然后突发奇想:也许我们可以把人们的双手从这两样东西上解放出来!于是我们团队花了去年一年研究虚拟现实,终于发现限制我们的关键在于哪些设置。”

RealSense给头盔带来了空间和环境感知能力,而Alloy则会成为硬件制造商的“模范”,给他们提供如何把追踪技术整合到产品中的参考。不过这些头盔生产商中大多数已经采用了英特尔技术,大多数使用的是英特尔旗下的Movidius芯片。

在计算机视觉方面,Movidius的低功率Myriad 2视觉处理单元已经在头戴式设备生产商中成为了业界典范。Movidius曾是Google的Project Tango智能手机AR系统的合作方,同时也和联想在VR设备方面有着合作关系。Myriad 2的普及对英特尔来说无疑是个好消息,因为它将会推动RealSense的普及。

RealSense和Movidius之间的契合程度也在日益提高,不过虽然两方都希望产品能够尽快整合,Krzanich还是坚持把Movidius作为一个独立产品出售。

“我们将继续推动Movidius的构架改进,摸索怎样的构架才能与英特尔融合和联结在一起。”Krzanich说道。

Movidius CEO Remi El-Ouzzane也认为他的产品将会帮助RealSense平台进一步优化,他表示对此非常兴奋。“目前Movidius还鲜有人知。为了改变这一点,我想我们需要和英特尔一起继续发展,通过紧密合作来发挥优势。”

深度揭秘英特尔打造的融合现实头显Alloy

未来走向

目前有不少VR的支持者认为VR只是AR的一种延伸,但英特尔感兴趣的是VR最终将如何转变为AR。

AR是一项非常振奋人心的技术。目前开发者能接触到的AR产品有微软的HoloLens和即将推出的Meta 2开发工具,但其他宣传力度较大的头戴式设备制造商的产品则在细节上仍有欠缺。

Magic Leap已经从谷歌和阿里巴巴等投资人手中融资将近14亿美金,但对他们的头戴式设备原型至今还未公布确切信息。虽然有知情人士透露苹果正在根据不同显示技术开发数种 “混合现实型” 头盔原型,但苹果并没有对此作出任何评论。

这些产品都有一个共同点,那就是Movidius。

“恕我直言,不用Movidius你就开发不了大型AR平台。”El-Ouazzane 说道。

El-Ouazzane还告诉我,Movidius技术可以让小型移动设备完成计算,合作方可以由此缩小VR眼镜的规模。他认为这种因素虽然不起眼,但却能改善设备的接收功能。

“我们都应该从谷歌眼镜的Glasshole综合征吸取教训。AR眼镜必须是重约25至30克的轻巧设备,戴起来不会有不适感。眼镜上的电子元件要尽量少,主要就负责视觉处理;其他部件和计算都交给智能手机。”

虽然Krzanich在谈话中强调AR专用的光学技术大约还要1至2年才会出现,不过他也指出目前AR领域里有众多不同研究正在进行。

作为拉近VR和AR差距的新技术,MR是一次不错的尝试。虽然Project Alloy作为早期尝试缺点也较为明显,但英特尔肯定在为公司进军VR做准备。准备阶段也包括计算机视觉和视觉处理技术的研发,这些对于改善AR设备和体验都是至关重要的。

英特尔正在花时间打基础功。Movidius和RealSense都还没有彻底投入VR和AR头盔,两者在自动驾驶、保安系统和无人机等其他技术平台也非常活跃。Project Alloy和MR给公司带来了一款明确的产品,也为公司今后在VR和AR等方面的尝试确定了方向。