基于生成对抗网络与ICNet的羊骨架图像实时语义分割

作者：赵世达; 王树才^*; 白宇; 郝广钊; 涂本帅

来源：农业机械学报, 2021, 52(02): 329-339+380.

• 羊骨架
• 图像语义分割
• 生成对抗网络
• ICNet

研究了羊骨架图像生成技术与基于ICNet的羊骨架图像实时语义分割方法。通过DCGAN、Sin GAN、Big GAN3种生成对抗网络生成图像效果对比,优选Big GAN作为羊骨架图像生成网络,扩充了羊骨架图像数据量。在此基础上,将生成图像与原始图像建立组合数据集,引入迁移学习训练ICNet,并保存最优模型,获取该模型对羊骨架脊椎、肋部、颈部的分割精度、MIoU以及单幅图像平均处理时间,并以此作为羊骨架图像语义分割效果的评判标准。结果表明,最优模型对羊骨架3部位分割精度和MIoU分别为93.68%、96.37%、89.77%和85.85%、90.64%、75.77%,单幅图像平均处理时间为87 ms。通过模拟不同光照条件下羊骨架图像来判断ICNet的泛化能力,通过与常用的U-Net、DeepLab V3、PSPNet、Fast-SCNN 4种图像语义分割模型进行对比来验证ICNet综合分割能力,通过对比中分辨率下不同分支权重的网络分割精度来寻求最优权值。结果表明,ICNet与前3种模型的分割精度、MIoU相差不大,但处理时间分别缩短了72.98%、40.82%、88.86%;虽然Fast-SCNN单幅图像处理时间较ICNet缩短了43.68%,但MIoU降低了4.5个百分点,且当中分辨率分支权重为0.42时,ICNet分割精度达到最高。研究表明本文方法具有较高的分割精度、良好的实时性和一定的泛化能力,综合分割能力较优。

• 单位
  华中农业大学