科研之友
微信
新浪微博
Facebook
分享链接
摘要
本发明提供一种基于全注意力机制的多模态抑郁症检测方法、系统、存储介质和电子设备,涉及抑郁症检测技术领域。本发明中,采集用户的就诊视频,就诊视频由医生就汉密顿抑郁量表对用户进行提问时录制；根据就诊视频,获取视觉特征；从就诊视频提取音频数据,获取语音特征；将音频数据进行转录标注获取文本数据,取文本特征；根据视觉特征、语音特征、文本特征,采用预先构建的跨模态transformer模型预测该用户的抑郁程度结果。数据采集结合了具有良好应用信度的汉密顿抑郁量表,全面采集了视频模态、音频模态、文本模态的数据,以及考虑了跨模态特征信息,补充了不同模态之间的潜在联系,用于对用户抑郁症状进行刻画评估,诊断结果更准确。
- 单位
