注意力机制海洋场景图像理解算法

作者：邬满; 文莉莉; 孙苗

来源：计算机工程与应用, 2021, 1-11.

• 图像特征提取
• 注意力机制
• 长短记忆模型
• 图像描述生成
• 中文分词

本文针对复杂海洋场景（目标多尺度、对象多样化、风格差异大、时空强关联且存在不确定性目标）特点，研究基于注意力机制的复杂图像有效特征提取方法，提出一种基于CNN和LSTM网络相结合的复杂海洋场景图像中文描述生成模型；结合jieba分词工具，实现了对复杂海洋场景监测图像的自动翻译。利用91卫图助手及无人机高清影像数据，建立模型并对算法进行验证。结果表明，Inception-v4比VGG16模型有更强的复杂特征提取能力，在相同数据集下，Inception-v4模型的图像分类能力高出约5.3%左右；基于卷积神经网络（Convolutional Neural Network，简称CNN）和长短记忆模型（Long-Short Term Memory，简称LSTM）的图像中文描述生成算法基本可行，可以解决批量图像的自动标注问题，但在算法的稳定性和描述的准确性上需进一步提高。

• 单位
  广西壮族自治区海洋研究院; 广西大学; 广西壮族自治区药用植物园