欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  科技

硅谷创企的声音模拟技术 未来会让配音演员失业?

程序员文章站 2022-07-08 11:12:02
今年8月,中国最著名的时尚博主之一Gogoboi采访了少女时代门面担当林允儿,在采访里,Gogoboi一口流利韩语。再加上在各大时装周上,能够轻松用英文采访欧美时尚Icon,他的语言能力其实已经超出了...

今年8月,中国最著名的时尚博主之一Gogoboi采访了少女时代门面担当林允儿,在采访里,Gogoboi一口流利韩语。再加上在各大时装周上,能够轻松用英文采访欧美时尚Icon,他的语言能力其实已经超出了大部分时尚博主,这也是他在时尚界极为受宠的原因之一。

可其实,随着声音模拟技术的迅猛发展,多语言人才的优势,很可能会不复存在。

记者了解到,位于美国加州的初创企业ObEN,能够提供迅速、准确的电音模拟技术。用户只需要念上两分钟由ObEN指定的文字,他们的电音就能被模拟出来,并且被用在唱歌、朗诵、用一切可以想象到的语言做一切可能的事情。

ObEN团队的另一项三维图像重建技术,还能够迅速地通过一张自拍照片为消费者建立三维人脸模型,让虚拟世界与现实世界之间的距离,更进一步。

硅谷创企的声音模拟技术 未来会让配音演员失业?

ObEN联合创始人Nikhil Jain及Adam Zheng

模拟技术给声音带来无限可能

这项声音模拟技术,有着许多动人的未来蓝图。

比如将家里小朋友的声音记录下来,而这个声音模型,可以一直保留到他长大成人,还可以说新的内容;比如电影在国外放映时,可以使用由明星原声而制作的外文配音,让他们本人的声音也能顺利“出口”;而对时尚博主们来说,别说采访韩国、欧美明星了,就算时尚博主们进军印度、土耳其、甚至非洲,也可以轻松用当地语言进行采访。另外,人们与家人分隔两地时,也可以通过这项技术,在各类智能设备中听到亲人熟悉的声音。天涯若比邻,不再是一种想象。

这些蓝图,让ObEN已经成功和各个行业顶尖的企业达成了合作意向,其中包括与美国最大的玩具公司合作开发智能玩具,跟好莱坞最大的配音公司以及电影公司合作等等。

硅谷创企的声音模拟技术 未来会让配音演员失业?

虽然有了以上各类可预见的蓝图,电音模拟技术,听起来还是有些抽象。具体来说,ObEN是这样做到给消费者的声音提供各种使用方案的。

首先,这项业界领先的技术大大缩短了发声模型的训练时间。也就是说,消费者们只需要花上2-3分钟念出指定的文字,ObEN就能通过人工智能领域的机器学习技术,制作出消费者的专属电音模型。这就像每个人有着独特的指纹一样,ObEN能够通过深度学习,获取每个用户的“声纹” 。

要知道,如今市面上所有的专属发声模型都只有少数人可以体验,并且需要好几天、甚至几周的时间录入数据。

再者,有了这个电音模型,ObEN可以做到让消费者本人的电音,用中文、日语、韩语、乃至世界上任何一种已经存在的语言说话、唱歌、朗诵等等,而非局限于源声音的语言种类及用法。试想,一个完全不懂中文的美国白人,可以用他的自己的电音唱秦腔;一个中国人,也可以听到自己唱出的宝莱坞歌曲了。

除了精进算法以外,使用这个技术的消费者们越多,ObEN的电音模型就会越逼真。

ObEN的声音模拟技术背后,有着UCLA(加州大学洛杉矶分校)以及CalTech(加州理工学院)两所重量级院校的计算机人才们。在决定开发这个技术后,ObEN的两位Co-founder Adam Zheng与Nikhil

Jain邀请到了UCLA的声学研究所所长Abeer Alwan以及CalTech的高级计算机科学家Julian Bunn合作开发。这两位教授,以及他们的其他合作伙伴与博士生们,都为ObEN在自主研发声音模拟技术的过程中提供了重要帮助。

声音模拟x新锐科技

更重要的是,如今科技行业里的许多主要方向,也将因为这个技术而更进一步。

首先,各类机器人的拟人化,将因为能够接入真实、可控的声音模型而更加成功。一个具体的例子就是在今年的CES期间,ObEN和凯撒娱乐集团以及微信进行合作,在凯撒娱乐旗下酒店里,提供名为“Ben”的虚拟客服。住在凯撒娱乐集团旗下的LINQ酒店的客人可以通过关注凯撒娱乐集团的微信号,在手机上跟Ben互动——他能够以任何声音或语言来进行回复。

而且,哈工大机器人集团与ObEN合作也在LINQ酒店大堂里提供了迎宾机器人,让虚拟客服Ben“实体化”成了一个看得见摸得着的机器人,客人们可以通过与迎宾机器人的沟通,直接感受到多语言、多声音的机器人提供的便捷服务。

硅谷创企的声音模拟技术 未来会让配音演员失业?

ObEN与哈工大机器人集团合作,在LINQ酒店提供的迎宾机器人

再次,声音模拟技术,将在虚拟现实领域有着极多发展机会。比如在虚拟教育领域,当声音来自真实的老师、同学时,孩子们会更容易沉浸其中;再比如在虚拟医疗领域,更真实的声音也会让患者更加轻松。

结合三维图像重建,重新定义虚拟世界

早在1946年,美国学者埃德加·戴尔提出的“学习金字塔”(Cone of Learning),以及多年来认知科学界的研究,都证明了当听觉与视觉结合时,人类的理解、学习能力更强,远远超过只有听觉、或只有视觉。

也正是因此,为了进一步缩短虚拟世界与真实世界之间的距离,ObEN团队还开发了基于手机的写真级的三维人脸重建技术。声音与图像紧密配合,未来的想象空间极大。

在过去十几年间,对未来游戏的一个常见想象就是,玩家以几近真实的相貌及声音,在游戏世界里闯荡。

而ObEN提供的声音模拟及三维图像重建技术,很可能在现实里第一次实现这种想象。

其实,三维人脸重建技术并非ObEN首创。在准确度上,使用深度摄像头进行较长时间的扫描,建立的模型也必定更加真实。然而这种耗时长、需要深度摄像头的三维重建技术,想要在消费者端普及使用,极为困难。

因此,ObEN选择了开发只需使用手机拍摄一张照片,就能由平面照片生成三维人脸模型的技术。这项技术基于机器学习,通过大量学习二维照片与相应三维模型的关系而最终成型。当然,假如消费者们愿意多提供几张照片,比如侧面照等,也会让ObEN最终呈现的三维模型更为准确。

硅谷创企的声音模拟技术 未来会让配音演员失业?

通过ObEN技术,用创始人之一Nikhil Jain的2D照片完成的3D模型

正如上文中提到的,这项技术在虚拟现实/增强现实领域,有着极多可能性,包括教育、医疗、游戏、设计、音乐等。几乎可以说,只要是需要人物的地方,都可能需要。这也意味着ObEN与许多虚拟现实行业内的企业都有着合作可能。

比如在医院中,相比一个卡通形象的虚拟医生,患者自己的医生的虚拟形象必定更受患者青睐。在VR教育领域,假如小朋友们能看见、听见真实的同学、老师,教育效果也会好不少。最重要的是,只要消费者们使用ObEN提供的这种三维图像重建技术,就能轻松地把社会关系导入到虚拟世界里。

这一特点,是当年QQ、微信大火的基础,而有了ObEN,在虚拟现实领域的杀手级应用,我们也能有所期待了。

虚拟现实元年,发展空间极大

2016年是虚拟现实/增强现实(VR/AR)的元年,而ObEN的声音模拟技术与三维图像重建技术,很有可能成为VR/AR发展的重要助力。

近几年,业界一致强调虚拟现实中3D音频的重要性。而可以提供不同声音、语言的ObEN,则是在3D音频技术之外,补足了虚拟世界里声音的“内容”这一部分,让虚拟世界里的声音,更具有吸引力。

而声音与图像技术的结合,也是ObEN乃至VR/AR界可预见的重要方向。ObEN已经开始自行开发应用,尝试将两项技术结合。他们即将推出的全新的VR/AR交友App,就是希望能够“复制”出每个用户的虚拟形象与声音,这意味着不论你在线与否,都可以跟有着真实虚拟形象的其他用户进行交流。

“我们认为在未来,每个人都需要一个与自己形象相符的虚拟世界助手,”ObEN的COO Adam Zheng说道。在VR/AR领域,这样的虚拟世界助手可以在各方面为自己的主人服务。

据悉,ObEN已入选HTC的Vive X加速器项目, 在一千多个项目中脱颖而出,与其他32家创业公司共同探索虚拟现实领域的未来可能。据Adam透露,加速器项目中不少虚拟游戏公司已经对ObEN的这两项技术表达了兴趣。

ObEN成立于2014年,主要创始人分别为COO Adam Zheng以及CEO Nikhil Jain。其中,Adam是清华大学环境工程硕士、Berkeley金融工程硕士、UC Davis交通工程博士,他也是百合网的联合创始人以及光速创投的投资合伙人。Nikhil Jain拥有南加大的MBA学位,是加州地区的连续创业者。ObEN的首席工程师Dr. Mark Harvilla是卡耐基梅隆的电子工程学博士,曾师从Richard

Stern(Apple

Siri的负责人Alex

Acero的导师,李开复的博士毕业论文指导教授之一)。