基于多模态融合技术的番茄灰霉病智能协同诊断模型研究

作者：杜亚茹; 黄媛; 杜鹏飞; 高欣娜; 武猛; 杨英茹^*

来源：中国农机化学报, 2023, 44(11): 115-122.

DOI：10.13733/j.jcam.issn.2095-5553.2023.11.018

• 番茄灰霉病
• 多模态融合
• 回归分析
• 深度神经网络

为快速、准确地监测设施番茄灰霉病的发生情况，选取灰霉病发生的环境因子特征和图像特征两类数据，分别构建基于单因子的灰霉病的识别模型，并研究两个模型间的关联识别模型。首先，连续采集番茄灰霉病发生与不发生设施温室的最高空气温度和平均空气湿度，构建基于Logistic回归分析的设施番茄灰霉病温湿度预测模型；然后，开展番茄叶部灰霉病RGB图像的采集和预处理，建立图像数据集，构建基于ResNet50-CBAM卷积神经网络的番茄灰霉病RGB图像识别模型；最后，运用多模态融合技术，以温湿度预测模型为文本模态，图像识别模型为图像模态，构建番茄灰霉病智能协同诊断模型。试验结果表明：在VGG16,MobileNet V2,ResNet50和ResNet50-CBAM四个网络模型中，ResNet50-CBAM网络结构准确率最高，达到95.48%,使用基于多模态融合技术的番茄灰霉病智能协同诊断技术的准确率达98.3%,比温湿度预测模型提高14.7%,比RGB图像识别模型提高2.82%。

• 单位
  石家庄市农林科学研究院