基于VR技术的沉浸式听障儿童发音康复训练系统

作者：杨永吉; 赵剑^*; 史丽娟; 崔宇晴; 张智威; 肖治国

来源：吉林大学学报(信息科学版), 2021, 39(06): 700-705.

DOI：10.19292/j.cnki.jdxxp.2021.06.010

• 虚拟现实技术
• 沉浸式发音康复训练
• Unity3D引擎
• 人机交互

针对传统听障儿童发音康复训练中患者主动训练积极性逐渐减弱的问题,设计了一种基于虚拟现实VR技术的沉浸式听障儿童发音康复训练系统。系统采用Unity3D引擎开发康复场景,并采用虚拟现实头盔作为输出端展示虚拟环境,其能以极高的还原度重现虚拟环境,具有很高的沉浸感。通过面部捕捉技术,训练出标准的发音、口型等,通过高清晰的视觉虚拟现实成像系统及手部动作捕捉系统实现人机交互的方式,触发训练功能,利用虚拟现实技术实现更好地帮助听障儿童进行沉浸式发音康复训练。实验结果表明,系统中的发音训练方式可以有效地提高听障儿童的发音能力,对患者语言能力的康复具有积极作用。

• 单位
  电子信息工程学院; 长春大学