高低维特征引导的实时语义分割网络

作者：虞资兴; 瞿绍军^*; 何鑫; 王卓

来源：计算机应用, 2023, 43(10): 3077-3085.

• 实时语义分割
• 上采样
• 注意力机制
• 金字塔池化
• 上下文信息

多数语义分割网络利用双线性插值将高级特征图的分辨率恢复至与低级特征图一样的分辨率再进行融合操作，导致部分高级语义信息在空间上无法与低级特征图对齐，进而造成语义信息的丢失。针对以上问题，改进双边分割网络（BiSeNet），并基于此提出一种高低维特征引导的实时语义分割网络（HLFGNet）。首先，提出高低维特征引导模块（HLFGM）来通过低级特征图的空间位置信息引导高级语义信息在上采样过程中的位移；同时，利用高级特征图来获取强特征表达，并结合注意力机制来消除低级特征图中冗余的边缘细节信息以及减少像素误分类的情况。其次，引入改进后的金字塔池化引导模块（PPGM）来获取全局上下文信息并加强不同尺度局部上下文信息的有效融合。在Cityscapes验证集和CamVid测试集上的实验结果表明，HLFGNet的平均交并比（mIoU）分别为76.67%与70.90%，每秒传输帧数分别为75.0、96.2；而相较于BiSeNet,HLFGNet的mIoU分别提高了1.76和3.40个百分点。可见，HLFGNet能够较为准确地识别场景信息，并能满足实时性要求。

• 单位
  湖南师范大学; 湖南华诺星空电子技术有限公司