科研之友
微信
新浪微博
Facebook
分享链接
摘要
手卫生动作质量评估任务的研究对于手卫生行为的干预可以发挥重要作用。为此，本文将来自视频数据和差分图像数据的2种不同类型的手卫生动作信息作为输入，构建一种基于多源动作信息的手卫生动作质量评估方法。该算法包含动作分割模块和评估模块，在动作分割模块中，通过位置索引划分与每个步骤相关的特征片段。在评估模块中，引入通过帧间差分法和ResNet50特征提取器获取的差分图像特征，与过去的方法(结合光流和RGB的I3D特征信息)相结合，以捕捉手部细微动作信息。将分割模块获取的特征片段经过处理输入基于交叉注意力机制的手卫生信息解码器，得到融合手部运动细节信息的综合特征。使用这些特征计算每个步骤的评估得分，最后将各步骤的评估得分相加以获得最终评估结果。该算法通过使用来自公开数据集HHA300进行验证，在评估任务中，评价指标ρ、R-?2(×100)分别取得了0.86和0.95的结果，充分说明了该算法能够准确评估手卫生的动作质量。
- 单位
