联合语义分割和深度估计的多任务学习研究

作者：罗会兰^*; 叶桔

来源：计算机科学, 2023, 50(S1): 181-190.

• 多任务学习
• 语义分割
• 深度估计
• 压缩激励
• 可选择权重

语义分割和深度估计任务是对图像像素级分类的研究，是两个高度相关的任务。从共享特征学习和特征交互融合两个角度出发，提出两个不同的多任务学习架构，即基于压缩激励模块(Squeeze-and-Excitation, SE)和金字塔池化的多任务学习网络(Multi-task Learning with SE and Pyramid Pooling, MTL＿SPP),以及基于压缩激励和可选择权重(Selective Weight, SW)的多任务学习网络(Multi-task Learning with SE and Selective Weights, MTL＿SSW),来联合学习语义分割和深度估计。MTL＿SPP架构由共享骨干特征网络和任务特定的子网络组成，利用SE模块构建任务特定子网络，并利用金字塔池化增强特征提取。MTL＿SSW在MTL＿SPP的基础上，让任务特定子网络的语义分割特征和深度估计特征通过SW模块进行相互指导和优化，学习对特定任务更具判别性的特征。实验结果表明，提出的两种方法在NYUD＿v2和SUNRGBD两个数据集上获得了优于先进方法的效果。

• 单位
  江西理工大学