科研之友
微信
新浪微博
Facebook
分享链接
摘要
目的 在图像语义分割中，细节特征和语义特征的融合是该领域的一个难点。一些在特定网络架构下设计的专用融合模块缺乏可扩展性和普适性，自注意力虽然可以实现全局的信息捕获，但不能实现不同特征的融合，其他的注意力机制在进行掩码计算时缺少可解释性。本文根据特征图之间的关联度进行建模，提出一种互注意力机制驱动的分割模块。方法 该模块获取不同阶段的细节特征图和语义特征图，建立细节特征图上任一点和语义特征图之间的关联模型，并在关联模型的指导下对语义特征图上的特征进行聚合，作为细节特征图上该特征点的补充，从而将语义特征图上的信息融合到细节特征图上，并进一步采用相同的操作将细节特征图上的信息融合到语义特征图上，实现来自不同阶段特征图的相互融合。结果 选取5个语义分割模型进行实验，实验结果表明，在使用替换方式对BiSeNet V2(bilateral segmentation network)进行修改之后，浮点运算量、内存占用量和模型参数数量分别下降了8.6%,8.5%和2.6%，但是平均交并比却得到了提升。在使用插入方式对另外4个网络进行修改后，所有网络的平均交并比全部得到了不同程度的提高。结论 本文提出的互注意力模块可普遍提升模型的语义分割准确度，实现不同网络模型的即插即用，具有较高的普适性。
- 单位
