支持多模态交互的桌面增强显示系统

作者：王子珩; 姜忠鼎^*

来源：计算机工程, 2022, 48(07): 177-188.

DOI：10.19678/j.issn.1000-3428.0061698

• 头戴式显示设备
• 增强显示
• 虚实融合
• 多模态交互
• 人机交互

传统的显示设备在受限的物理空间内难以向用户呈现大量画面和复杂内容，而AR头戴式显示设备通过将三维的可视化内容悬浮显示在用户眼前，在不占用额外物理空间的条件下可增强真实世界的画面显示，呈现形式更为丰富的内容。设计AR虚拟空间与真实电脑画面虚实融合的桌面增强显示系统。通过基于二维码识别的空间定位技术将真实电脑画面映射至虚拟空间内，实现交互空间的统一，同时构建窗口布局计算模型使得系统可以根据用户自定义参数自动生成窗口并设置其布局。在此基础上，利用蓝牙通信、网络传输、操作系统底层映射和结合视线检测的语音识别等技术支持手势、键鼠和语音的多模态交互方式，设计鼠标移动策略以扩展鼠标在三维空间下的多种操作模式。实验结果表明，与隔空手势交互、鼠标交互等传统交互方式相比，该系统在处理常见电脑任务时平均耗时节省10%～30%，具有较高的交互效率，且在跨窗口连续移动和瞬间跳转时能够正确显示鼠标位置。

• 单位
  复旦大学