超用户预期?AR+多屏协同的技术与体验
「 3块屏幕的故事,新技术带来新体验 」
- 多屏协同趋势
微软Your Phone、戴尔Dell Mobile Connect,华为Huawei Share 和联想Lenovo one 等,将手机投射到 PC 的方式似乎成了一种趋势,但这些体验屏幕之间的交流是“虚拟”的。技术上可以通过在电脑上部署服务,通过wifi实现连接。
- AR跨屏体验
多屏协同已是趋势,那么,有什么技术是跟跨屏相关的呢?
——AR增强现实
adobe的这一款应用,老师在电脑上标注,学生通过手机AR查看书籍上的标注,实现了不同屏幕、不同用户角色的互动。
- AR超乎用户预期的体验
如下图所示,一款由Cyril Diagne(艺术家/设计师/程序员)所开发的可“克隆万物”的demo,最近走红网络。
一部手机,基本只靠对准镜头,然后移动,即可完成以往至少需要5个步骤才能完成的工作:
手机拍照、传输至电脑、抠图、复制粘贴、调整位置
再一次验证了一项新技术的本质是由各种以往的小技术所重组而成。新技术带来了新体验,AR作为连接虚拟与现实的桥梁,实现了屏幕之间的“物理交流”,体验由此超越用户预期。
- 技术
作者的实现稍显复杂:
手机端选取了react native来实现拍照、叠加图像的功能:
电脑端通过python封装了BASNet,用于实现抠图:
手机图像与电脑图像的对应关系则采用opencv里封装好的SIFT来实现:
那么有没有其他实现方案呢?毕竟这只是个demo,距离工程化还需要点时间。
“
跨屏+AR=?
手机跟电脑有各自适用的场景,而AR可以引入现实空间,相当于有了3块屏幕,互相之间会碰撞出什么火花?需要我们不断地探索。
”
我在知识星球里记录了不少关于AR的案例、经验、思考。欢迎跟我交流
本文地址:https://blog.csdn.net/shadowcz007/article/details/105926289