特征挖掘与区域增强的弱监督时序动作定位

作者：王静; 王传旭^*

来源：计算机应用研究, 2023, 40(08): 2555-2560.

DOI：10.19734/j.issn.1001-3695.2022.12.0642

• 时序动作定位
• 逆变换
• 动态采样
• 伪标签互监督
• 多头自注意

弱监督时序动作定位旨在定位视频中行为实例的起止边界及识别相应的行为。现有方法尽管取得了很大进展，但依然存在动作定位不完整及短动作的漏检问题。为此，提出了特征挖掘与区域增强(FMRE)的定位方法。首先，通过基础分支计算视频片段之间的相似分数，并以此分数聚合上下文信息，得到更具有区别性的段分类分数，实现动作的完整定位；然后，添加增强分支，对基础分支定位中持续时间较短的动作提案沿时间维度进行动态上采样，进而采用多头自注意机制对动作提案间的时间结构显式建模，促进具有时间依赖关系的动作定位且防止短动作的漏检；最后，在两个分支之间构建伪标签互监督，逐步改进在训练过程中生成动作提案的质量。该算法在THUMOS14和ActivityNet1.3数据集上分别取得了70.3%和40.7%的检测性能，证明了所提算法的有效性。

• 单位
  青岛科技大学