科研之友
微信
新浪微博
Facebook
分享链接
摘要
针对目前群组成员交互关系建模中缺乏清晰的高层语义描述，提出了一种基于“合作与竞争”交互关系建模的群组行为识别。首先利用弱监督方法实现对群组整体成员的自动分组和关系判断，即利用IAP(improved affinity propagation)算法实现对群组成员的自动分组，并利用Bert和GCN网络分别识别同一簇成员间存在的合作/竞争关系和不同簇间成员的合作/竞争关系；其次，利用半监督模块提供的身体部位信息以及部分帧中成员的信息进行迁移学习，从而识别每个成员的动作，将其动作标签信息进行编码后作为弱监督模块的补充；再次，利用深层聚合模型对上述两模块提取的语义和关系特征进行融合，最后利用softmax实现群组行为识别。为了验证本研究模型的有效性，选择在CAD和NBA数据集上进行实验，分别取得了94.2%和52.5%的效果优于当前较先进算法的识别效果。
- 单位
