空间感知通道注意力引导的高动态图像重建

作者：唐凌峰; 黄欢^*; 张亚飞; 李凡

来源：中国图象图形学报, 2022, 27(12): 3581-3595.

• 多曝光图像融合
• 高动态范围(HDR)
• 注意力
• 多尺度
• 鬼影抑制

目的 通过融合一组不同曝光程度的低动态范围(low dynamic range, LDR)图像，可以有效重建出高动态范围(high dynamic range, HDR)图像。但LDR图像之间存在背景偏移和拍摄对象运动的现象，会导致重建的HDR图像中引入鬼影。基于注意力机制的HDR重建方法虽然有一定效果，但由于没有充分挖掘特征空间维度和通道维度的相互关系，只在物体出现轻微运动时取得比较好的效果。当场景中物体出现大幅运动时，这些方法的效果仍然存在提升空间。为此，本文提出了空间感知通道注意力引导的多尺度HDR图像重建网络来实现鬼影抑制和细节恢复。方法 本文提出了一种全新的空间感知通道注意力机制(spatial aware channel attention mechanism, SACAM),该机制在挖掘通道上下文关系的过程中，通过提取特征通道维度的全局信息和显著信息，来进一步强化特征的空间关系。这有助于突出特征空间维度与通道维度有益信息的重要性，实现鬼影抑制和特征中有效信息增强。此外，本文还设计了一个多尺度信息重建模块(multiscale information reconstruction module, MIM)。该模块有助于增大网络感受野，强化特征空间维度的显著信息，还能充分利用不同尺度特征的上下文语义信息，来重构最终的HDR图像。结果 在Kalantari测试集上，本文方法的PSNR-L(peak signal to noise ratio-linear domain)和SSIM-L(structural similarity-linear domain)分别为41.101 3、0.986 5。PSNR-μ(peak signal to noise ratio-tonemapped domain)和SSIM-μ(structural similarity-tonemapped domain)分别为43.413 6、0.990 2。在Sen和Tursun数据集上，本文方法较为真实地重构了场景的结构，并清晰地恢复出图像细节，有效避免了鬼影的产生。结论 本文提出的空间感知通道注意力引导的多尺度HDR图像重建网络，有效挖掘了特征中对重构图像有益的信息，提升了网络恢复细节信息的能力。并在多个数据集上取得了较为理想的HDR重建效果。

• 单位
  昆明理工大学; 自动化学院