科研之友
微信
新浪微博
Facebook
分享链接
摘要
以视频帧采样和数据增强为代表的预处理操作是提升视频行为识别深度模型性能的重要手段，近年来开始受到研究者更多关注。针对现有视频数据预处理存在的采样视频帧区分性不足和数据增强方式单一问题，提出一种面向视频行为识别深度模型的数据预处理新方法。首先，在视频帧采样上设计出动作指导的片段化视频采样策略，综合考虑视频帧间差异特征与视频片段短时时序特征，以显著行为动作获取关键视频帧并对其邻近视频帧进行采样，可有效提高所选取视频帧的时空区分能力；进而，借鉴图像分类中的随机数据增强方法，提出以随机数据增强方式对采样后视频短片段进行数据增强处理，可使视频识别深度模型学习到更复杂的空间变化信息。根据2个公开的视频识别数据集和2个代表性的网络模型的评估实验结果表明，所提出的预处理方法可以使基准模型获得3%以上的精度提升，其中最高提升精度为6.8%，证明了方法在视频行为识别任务中的有效性。
- 单位
