大场景下自由手势交互技术

作者:李仕; 卢俊阳; 张明威; 王航宁; 王毅刚*
来源:印刷与数字媒体技术研究, 2023, (04): 244-251.
DOI:10.19370/j.cnki.cn10-1886/ts.2023.04.034

摘要

超大屏幕在元宇宙时代已经是常见的显示终端,用户在超大屏幕场景下通常有不受约束的行走和自由人机交互的需求。针对以上需求,本研究提出一种基于二次坐标转换的3D手势坐标映射方法。将手部骨骼节点的3D坐标转换到视点所在坐标系上,再经坐标转换获得手部节点在真实场景中的实时坐标。经过虚实映射,用户可以通过裸手驱动系统端的虚拟手进行人机交互,系统基于识别到的手势信息给予用户实时反馈。实验表明,本研究方法允许用户在大屏幕或环幕场景中不受约束行走的同时,在其视线所及之处通过裸手进行拾取等交互,达到可见即可交互的效果,提升用户的交互体验。

全文