微软用HoloLens实现远程生理学测量,未来可一眼看穿对方心跳
程序员文章站
2022-06-26 17:58:32
微软研究部门构建了一个名为Cardiolens的系统,使用前置摄像头来实现远程生理学测量,并通过全息显示器来展示混合现实可视化。Cardiolens结合了先进的计算机视觉方法和微软HoloLens,通...
微软研究部门构建了一个名为Cardiolens的系统,使用前置摄像头来实现远程生理学测量,并通过全息显示器来展示混合现实可视化。
Cardiolens结合了先进的计算机视觉方法和微软HoloLens,通过前置摄像头,心冲击图成像,以及远程成像光电容积脉搏波检测方法来恢复脉搏信号,实现实时的免手操作测量,以及多人血流量和生命体征的可视化。
Cardiolens采用了两种形式的成像心动描记法来捕捉用户的心律和注视点对象的心律。系统能够根据来自摄像头的视频对面部进行自动检测。图像分为红,绿,蓝,然后再形成随时间变化的信号。系统通过结合机器学习和数字信号处理技术来恢复脉搏信号。摄像头捕捉Cardiolens系统用户的头部运动。光流和信号处理技术则用于恢复这一运动信号,而心律则可以提取出来。
用户所需要做的事情是佩戴设备,然后看着特定对象即可捕捉她的生理学信息。这一切都可以在自然的人际交互期间实现。设备将显示放大后的信号,以及该对象的心律和恢复的脉搏波。用户可以在混合现实环境中实时浏览所有的信息。同样地,系统同样可以可视化用户的生理学响应。根据脉搏波,系统可以提取心率,心率变化和呼吸率。
Cardiolens可用于帮助医生可视化人体不同部位的血液流动,并优化远程通信和视频会议应用。也允许用户在佩戴该设备时浏览自己的心率,以及仅通过目光扫视他人即可查看他们的心率和心率变化。Cardiolens为佩戴者提供了一种理解生理信号的新方法,并且已经应用于人机交互和社会心理学研究。