基于递归长短期记忆网络和镜头序列注意网络的视频摘要生成

作者：张晨; 王圣焘; 武光利^*

来源：科学技术与工程, 2023, 23(18): 7852-7860.

• 视频摘要
• ReLSTM
• 镜头序列注意力
• 特征融合

为解决基于长短期记忆网络LSTM的视频摘要生成方法当输入序列过长时LSTM网络中的记忆单元不能集中在长时间序列的跨度上。通过深度学习的方法研究了一种基于递归长短期记忆网络(ReLSTM)和序列注意(sequential attention, SSA)的视频摘要生成模型用以提高深度学习网络学习时序特征的能力。该模型使用ReLSTM网络提取时间特征。同时，利用SSA动态调整每个视频序列输入到ReLSTM网络中的特征权重。结果表明：在数据集TVSum上F1-score平均提高2.5%,最高提高0.2%。在数据集SumMe上F1-score平均提高7.8%,最高提高3.4%。可见本文方法能有效地学习镜头之间的时序特征。