基于双线性注意力网络的农业灯诱害虫细粒度图像识别研究

作者：姚青; 姚波; 吕军; 唐健^*; 冯晋; 朱旭华

来源：中国农业科学, 2021, 54(21): 4562-4572.

• 农业灯诱害虫
• 害虫识别
• 细粒度图像
• 双线性
• 注意力机制

【目的】智能虫情测报灯诱捕到的农业害虫因种类繁多、虫体姿态多样、鳞片脱落等原因造成有些害虫图像存在种间相似和种内差异的现象。为了提高农业灯诱害虫识别率,针对YOLOv4检测模型检测到且容易混淆的19种灯诱害虫,本文提出了基于双线性注意力网络的农业灯诱害虫细粒度图像识别模型。【方法】首先,根据灯诱害虫外观图像的相似性和检测误检的情况,将19种害虫分为6类;将所有害虫图像通过补边操作使得长宽相等,并缩放至统一尺寸224×224像素。为了提高模型的鲁棒性和泛化能力,对害虫图像进行镜像翻转、旋转180度、高斯噪声和均值滤波的数据增强,训练集、验证集和测试集样本量按照8﹕1﹕1比例划分。然后,针对6类19种农业灯诱害虫细粒度图像,建立了基于双线性注意力网络的农业灯诱害虫识别模型(bilinear-attention pest net,BAPest-net),模型包括双线性特征提取、注意力机制和分类识别3个模块;通过修改特征提取模块的下采样方式提高特征提取能力;添加注意力机制模块让整个模型更关注于局部细节的特征,将双线性结构中的上下两个注意力机制的输出进行外积运算增加细粒度特征的权重,提高识别的准确性和学习效率;模型优化器使用随机梯度下降法SGD,分类模块中使用全局平均池化,旨在对整个网络从结构上做正则化防止过拟合。最后,在同一个训练集训练VGG19、Densenet、ResNet50、BCNN和BAPest-net 5个模型,对6类相似的19种农业灯诱害虫进行识别,以精准率、Precision-Recall(PR)曲线和平均识别率作为模型的评价指标。【结果】BAPest-net对6类相似的19种农业灯诱害虫平均识别率最高,达到94.9%;BCNN次之,为90.2%;VGG19模型最低,为82.1%。BAPest-net识别的6类害虫中4类鳞翅目害虫的平均识别率均大于95%,表明该模型能较好地识别出鳞翅目害虫。测试结果中仍存在少数相似度较高的害虫误判,特别当害虫腹部朝上或侧身,种类特征不够明显的时候容易引起相似害虫的误判。对于区分度较低的相似害虫需要更多的训练样本以获取更多的特征,提高模型的识别率和泛化能力。【结论】基于双线性注意力网络的农业灯诱害虫细粒度图像识别模型可以自动识别6类相似的19种农业灯诱害虫,提高了农业灯诱害虫自动识别的准确率。

• 单位
  中国水稻研究所; 浙江理工大学