科研之友
微信
新浪微博
Facebook
分享链接
摘要
为了提高学校、商场等公共场所的安全性，实现对监控视频中的偷窃、抢劫、打架斗殴等异常双人交互行为的自动识别，针对现有基于关节点数据的行为识别方法在图的创建中忽略了两个人之间的交互信息，且忽略了单人非自然连接关节点间的交互关系的问题，本文提出一种基于交互关系超图卷积模型用于双人交互行为的建模与识别。首先针对每一帧的关节点数据构建对应的单人超图以及双人交互关系图，其中超图同时使多个非自然连接节点信息互通，交互关系图强调节点间交互强度。将以上构建的图模型送入时空图卷积对空间和时间信息分别建模，最后通过SoftMax分类器得到识别结果。该算法框架的优势是在图的构建过程中加强考虑双人的交互关系、非自然连接点间结构关系以及四肢灵活的运动特征。在NTU数据集上的测试表明，该算法得到了97.36%的正确识别率，该网络模型提高了双人交互行为特征的表征能力，取得了比现有的模型更好的识别效果。
- 单位
