toppic
当前位置: 首页 > 最新动态 >MR到底可以做什么?

MR到底可以做什么?

人机交互HCI2021-06-21 16:27:14



     

     上周,我们一起对MR(即混合现实)进行了简单的认识。


     这次,就来更加深入地了解一下MR的交互系统及其应用吧!





 — 01 —


     人机交互是MR的重要支撑技术之一,其各项技术在MR中广泛应用,出现了不同种类的交互应用。


     依据当前调研的文献看,业界和研究者们对于实物交互3D交互应用移动式交互应用协作式交互应用尤为关注。


     就交互设备而言,HWD、手持显示器、透明显示器及手机、平板电脑等移动设备使用得最广泛;就用户界面形态而言,TUI、3DUI、多通道用户界面和混合用户界面占主要地位;另外,由于触屏设备的大量普及,触控界面也作为一种基础交互方式普遍存在。



     按照用户界面形态作为基本划分,可以利用上图对近年来具有代表性和创新性的MR交互系统及应用做一个简单介绍。




 — 02 —


     TUI是MR应用中使用最多的一种交互方式,它支持用户直接使用现实世界中的物体与计算机进行交互。


     在虚实融合的场景中,现实世界中的物体和虚拟叠加的信息各自发挥着自己的长处、相互补足,使交互过程更加有趣和高效。



    TUI 的一个典型案例是Kato的VOMAR。该应用中,用户使用一个真实的物理的桨(physical paddle)选择和重新排列客厅中的家具,桨叶的运动直观地映射到基于手势的命令中,如“挖”一个对象从而选择它,或“敲击”一个对象使它消失。


     TUI中物体的特点是它们既是实际可触摸的物体,又能完美地与虚拟信息匹配并供用户进行操纵。这样用户便能将抽象概念与实体概念进行比较、组合或充分利用。


     Studierstube利用TUI的这一特点实现了一个多用户信息可视化、展示和教育平台,其利用摄像机跟踪用户手中的笔和交互平板,使用户能够使用它们直接操控虚拟信息。


     每个用户都佩戴一个HMD,可以看到叠加在交互平板中的2D图表,并能使用各自的笔来操控和修改相应的3D模型。在MR技术的帮助下,不同用户眼中的模型得到了相应地视觉修正,使得虚拟内容自然真实,非常适合多用户协同工作,类似的工作还有文献。


     另一个在人机交互学术界久负盛名TUI案例是Tangible bits,该工作实现了一个meta DESK实物交互桌面。在metaDESK中,虚拟信息的浏览方式被现实世界物体增强了,用户不再使用窗口、菜单、图标等传统GUI,而是利用放大镜、标尺、小块等物体进行更自然地交互。




 — 03 —


     DUI在MR应用中大量的存在,并且它与其他界面范式、交互技术、交互工具深度融合,产生了形式多样的创新型应用。



     Reilly等的产品利用MR技术实现了一个远程会议室。会议室的主体由3D模型构成,在虚拟会议室中叠加了实时视频流以及其他2D信息便于交流,身处不同地点的用户们可以方便地通过这个系统进行面对面的会谈、信息展示和分享。


     在HoloDesk中,研究者实现了一个用手直接与现实和虚拟的3D物体交互的系统,该工作的亮点在于它不借助任何标志物就能实时地在3D空间中建立虚实融合的物理模型,实现了任何生活中的刚体或软体与虚拟物体的高度融合,为MR中自然人机交互起到了重要的支撑作用。


     SpaceTop将2D交互和3D交互融合到一个唯一的桌面工作空间中,利用3D交互和可视化技术拓展了传统的桌面用户界面, 实现了2D和3D操作的无缝结合。

    

     在SpaceTop中,用户可以在2D中输入、点击、绘画, 并能轻松地操作2D元素使其悬浮于3D空间中,进而在3D空间中更直观地控制和观察;该系统充分发挥了2D和 3D空间中的优势,使交互更为高效。


     另一项近期的工作则尝试利用图像处理和CAD结合的方式,将2D的装备说明书自动转换为3D的交互式MR环境中,使得原本难以理解的说明书变得更加直观,易于学习。




 — 04 —


     多通道用户界面是近年来人机交互和MR研究的主要方向之一,它支持用户通过多种通道与计算机进行交互,适当地利用通道之间的增益效应和互补性能改善交互效果。



     WUW系统很好地利用了这一点,它将虚拟信息投影在表面、墙壁和物理物体上,并允许用户通过手势、上肢动作和物体的直接操控等多种途径与之进行交互,不同交互通道相互补足,提高了交互效率。


     Irawati等则很好地利用多通道交互技术消除MR环境中的交互二义性,在与VOMAR类似的虚拟家居设计环境中,存在着较为严重的跟踪识别误差与交互二义性。


     而在原本交互通道的基础上,利用时间和语义融合技术将语音交互通道对交互行为进行修正,能够很大程度上消除这种偏差,弥补了 MR环境中交互不确定性较大的缺陷。


     此外,语音交互通道作为一种辅助交互通道,已经被大量地应用于MR环境当中,在SEAR中,一个融合视觉和听觉的多通道用户界面被用于管道维修应用当中,视觉通道提供管道维修MR示意图,听觉通道则根据视觉内容提供相应状态、操作方法等信息,提高了维修工人的工作效率。




 — 05 —


     混合用户界面将不同但相互补足的用户界面进行组合,用户通过多种不同的交互设备进行交互。


     这种交互方式在多人协作交互场景中得到了成功的应用,利用投影仪、PC、交互桌面、物理实体等多种交互设备和工具构建了一个多用户协同工作平台,叠加在工作环境中的虚拟信息和不同设备的密切合作使用户之间、设备之间的交流和信息共享更加高效,一个类似的近期成果是Reilly的产品。


     前面提到过的Tangible bits也是混合用户界面的典型例子,除了已经提到的metaDESK,这项工作中还包括2个重要应用场景: ambientROOM和transBOARD,它们三者一起将日常生活中的各种实物、显示设备、绘图白板、有意或无意的用户行为都用在了MR交互当中。


     除了利用实物操作虚拟信息外,房间内的光影、声音、气流和水流也被用于提供交互线索,用户在普通绘图板上的写写画画,通过摄像机拍摄和识别便能将数字信息方便地分享和传输。


     混合用户界面能够利用不同交互通道和不同交互设备的优势增强MR应用中的交互体验,是MR未来很重要的发展趋势。




长按二维码识别

关注“人机交互HCI”

一起做点酷酷的事

The End



更多最新动态