融合动态特征和注意力的敦煌壁画修复模型

作者：刘仲民; 严梁

来源：计算机工程, 2023, 1-13.

DOI：10.19678/j.issn.1000-3428.0067371

• 信息处理技术
• 壁画修复
• 深度学习
• 有效特征选择
• 注意力机制

敦煌壁画图像含有丰富的纹理和结构信息，在破损壁画修复过程中，容易忽略受损特征信息与完整特征信息之间的区别，从而误导修复过程生成不合理的壁画内容。针对该问题，提出一种融合动态特征选择和像素级通道注意力的壁画修复模型。首先设计基于U-Net的网络生成器，实现对破损图像的编码与解码操作；其次采用有效可迁移卷积模块，通过动态选择采样空间位置，实现对有效特征信息的灵活提取，然后采用区域综合归一化模块减少修复区域与完整区域的期望和方差的偏移，从而加强对有效特征信息的选择和利用；最后，在解码层设计像素级通道注意力模块，增强有效特征权重的同时使模型可从相隔较远的空间位置学习有效特征。在敦煌壁画数据集上的实验结果表明，该算法能够利用有效信息修复掩膜区域比例不一的不规则破损壁画图像，同时定量实验结果表明算法在PSNR指标上平均提升0.453DB；在SSIM指标上平均提升 1.384%。

• 单位
  兰州理工大学