科研之友
微信
新浪微博
Facebook
分享链接
摘要
深度学习给图像修复带来了前所未有的进步。然而，由于在特征提取过程中重复使用下采样操作导致上采样特征图以及与相应的自底向上的特征图之间存在一定的空间偏差，因此现有的方法在特征合并之后往往会产生结构失真、纹理模糊的图像修复结果。为了解决上述问题，提出了结合上下文特征调整与联合自注意力的图像修复模型。该模型由两部分组成：1）上下文特征调整模块；2）联合自注意力模块。上下文特征调整模块通过调整卷积核中的每个采样位置，学习像素的变换偏移用于在上下文中对齐上采样的特征来减少空间偏差。联合自注意力模块通过在空间和通道维度内部保持比较高的分辨率，并采用了Softmax-Sigmoid联合的非线性函数，能够有效地建模输入和输出特征之间的远距离依赖关系，使得模型能够在图像修复任务上获得更好的性能。将这两个模块整合到一个自上而下的金字塔结构中加强了模型对图像不同尺度特征的利用，形成一个新的图像修复模型。在CelebA， Places2， 和Paris StreetView等公开可用的数据集上评估了提出的方法。实验表明，提出的方法在质量上和数量上都优于目前主流的图像修复技术。
- 单位
