摘要

针对生猪体质量准确测定问题,提出了一种跨模态特征融合模型CFF-ResNet(Cross-modality feature fusion ResNet),充分利用了可见光图像的纹理轮廓信息与深度图像的空间结构信息的互补性,实现了群养环境中无接触的生猪体质量智能测定。首先,该研究采集并配准俯视猪圈的可见光与深度图像,并通过EdgeFlow算法对每一只目标生猪个体进行由粗到细的像素级分割。然后,基于ResNet50网络构建双流架构模型,通过内部插入门控形成双向连接,有效地结合可见光流和深度流的特征,实现跨模态特征融合。最后,双流分别回归出生猪体质量预估值,通过均值合并得到最终的体质量测定值。在试验中,该研究以某种公猪场群养生猪为数据采集对象,构建了拥有9842对配准可见光和深度图像的数据集,包括6909对训练数据和2933对测试数据。本研究所提出模型在测试集上的平均绝对误差为3.019 kg,平均准确率为96.132%。与基于可见光和基于深度的单模态基准模型相比,该模型体质量测定精度更高,其在平均绝对误差上分别减少了18.095%和12.569%。同时,该模型体质量测定精度优于其他现有生猪体质量测定方法:常规图像处理模型、改进EfficientNetV2模型、改进DenseNet201模型和BotNet+DBRB+PFC模型,在平均绝对误差上分别减少了46.272%、14.403%、8.847%和11.414%。综合上述试验结果表明该测定模型能够有效学习跨模态的特征,满足了生猪体质量测定的高精度要求,为群养环境中生猪体质量测定提供了有效的技术支撑。