注意力与多尺度特征融合的水培芥蓝花蕾检测

作者：夏红梅; 赵楷东; 江林桓; 刘园杰; 甄文斌^*

来源：农业工程学报, 2021, 37(23): 161-168.

• 机器视觉
• 图像识别
• 成熟度
• 水培芥蓝
• 多尺度卷积
• 注意力机制
• Faster R-CNN

准确辨识水培芥蓝花蕾特征是区分其成熟度，实现及时采收的关键。该研究针对自然环境下不同品种与成熟度的水培芥蓝花蕾外形与尺度差异大、花蕾颜色与茎叶相近等问题，提出一种注意力与多尺度特征融合的Faster R-CNN水培芥蓝花蕾分类检测模型。采用InceptionV3的前37层作为基础特征提取网络，在其ReductionA、InceptionA和InceptionB模块后分别嵌入SENet模块，将基础特征提取网络的第2组至第4组卷积特征图通过FPN特征金字塔网络层分别进行叠加后作为特征图输出，依据花蕾目标框尺寸统计结果在各FPN特征图上设计不同锚点尺寸。对绿宝芥蓝、香港白花芥蓝及两个品种的混合数据集测试的平均精度均值m AP最高为96.5%，最低为95.9%，表明模型能实现不同品种水培芥蓝高准确率检测。消融试验结果表明，基础特征提取网络引入SENet或FPN模块对不同成熟度花蕾的检测准确率均有提升作用，同时融合SENet模块和FPN模块对未成熟花蕾检测的平均准确率AP为92.3%，对成熟花蕾检测的AP为98.2%，对过成熟花蕾检测的AP为97.9%，不同成熟度花蕾检测的平均准确率均值m AP为96.1%，表明模型设计合理，能充分发挥各模块的优势。相比VGG16、ResNet50、ResNet101和InceptionV3网络，模型对不同成熟度花蕾检测的m AP分别提高了10.8%、8.3%、6.9%和12.7%，检测性能具有较大提升。在召回率为80%时，模型对不同成熟度水培芥蓝花蕾检测的准确率均能保持在90%以上，具有较高的鲁棒性。该研究结果可为确定水培芥蓝采收期提供依据。

• 单位
  华南农业大学