基于跨模态transformer的多模态焦虑症检测方法和系统

作者：孙晓; 江月琪; 张梓洋; 汪萌

来源：2022-03-22, 中国, CN202210282239.7.

本发明提供一种基于跨模态transformer的多模态焦虑症检测方法、系统、存储介质和电子设备,涉及焦虑症检测技术领域。本发明中,采集用户的就诊视频,就诊视频由医生就汉密顿焦虑量表对用户进行提问时录制；根据就诊视频,获取视觉特征；从就诊视频提取音频数据,根据音频数据,获取语音特征；将音频数据进行转录标注获取文本数据,根据文本数据,取文本特征；根据视觉特征、语音特征、文本特征,采用跨模态transformer模型预测该用户的焦虑程度结果。数据采集结合了具有良好应用信度的汉密顿焦虑量表,全面采集了视频模态、音频模态、文本模态的数据,以及考虑了跨模态特征信息,补充了不同模态之间的潜在联系,用于对用户焦虑症状进行刻画评估,诊断结果更准确。

• 单位
  合肥工业大学