基于生成对抗网络结合Transformer的半监督图像增强方法

作者：马天^*; 李凡卉; 席润韬; 安金鹏; 杨嘉怡; 张杰慧

来源：西安科技大学学报, 2023, 43(06): 1207-1218.

DOI：10.13800/j.cnki.xakjdxxb.2023.0619

• 半监督
• 图像增强
• 生成对抗网络
• Transformer
• 光照注意力

针对成对数据集获取成本较高、光照分布不均衡图像增强效果欠佳以及增强结果易产生十字形伪影的问题，提出了一种基于生成对抗网络结合Transformer的半监督图像增强方法。首先，采用Transformer网络架构作为生成对抗网络中生成器的主干网络，提取不同像素块间的依赖关系以获取全局特征，并通过非成对数据集进行半监督学习；其次，使用灰度图作为生成器网络的光照注意力图，以平衡增强结果在不同区域的曝光水平；最后，在生成器和鉴别器网络中交叉使用均等裁剪策略和滑动窗口裁剪策略，增强网络提取特征的能力并解决十字形伪影问题，并引入重建损失来提高生成器对图像细节的感知能力。结果表明：提出方法取得了更好的光照和色彩平衡效果，自然图像质量评估指标平均提升了2.37%;在图像修饰任务中，图像峰值信噪比、相似结构度和感知损失同时达到了最优；在低光照增强任务中，图像峰值信噪比提升了13.46%;充分验证了提出方法在图像增强2个子任务上的有效性。

• 单位
  西安科技大学