基于S-YOLO V5和Vision Transformer的视频内容描述算法

作者：徐鹏; 李铁柱; 职保平

来源：印刷与数字媒体技术研究, 2023, (04): 212-222.

DOI：10.19370/j.cnki.cn10-1886/ts.2023.04.030

• 视频内容描述
• S-YOLO V5
• Vision Transformer
• 多头注意力

视频内容描述的自动生成是结合计算机视觉和自然语言处理等相关技术提出的一种新型交叉学习任务。针对当前视频内容生成描述模型可读性不佳的问题，本研究提出一种基于S-YOLO V5和Vison Transformer(ViT)的视频内容描述算法。首先，基于神经网络模型KATNA提取关键帧，以最少帧数进行模型训练；其次，利用S-YOLO V5模型提取视频帧中的语义信息，并结合预训练ResNet101模型和预训练C3D模型提取视频静态视觉特征和动态视觉特征，并对两种模态特征进行融合；然后，基于ViT结构的强大长距离编码能力，构建模型编码器对融合特征进行长距离依赖编码；最后，将编码器的输出作为LSTM解码器的输入，依次输出预测词，生成最终的自然语言描述。通过在MSR-VTT数据集上进行测试，本研究模型的BLEU-4、METEOR、ROUGEL和CIDEr分别为42.9、28.8、62.4和51.4；在MSVD数据集上进行测试，本研究模型的BLEU-4、METEOR、ROUGEL和CIDEr分别为56.8、37.6、74.5以及98.5。与当前主流模型相比，本研究模型在多项评价指标上表现优异。

• 单位
  黄河水利职业技术学院