基于注意力和反馈机制的HDR视频重建

作者：杨英杰; 王永芳; 张涵

来源：上海大学学报(自然科学版), 2021, 1-12.

• HDR重建
• 深度学习
• 注意力机制
• 反馈机制
• 损失函数

低动态范围（Low Dynamic Range，LDR）的数字图像的亮度动态范围要远远低于人眼能够观看到的动态范围，从而使得图像或者视频的细节丢失、色彩失真，导致无法精确获取真实场景的信息。高动态范围（High Dynamic Range，HDR）技术可解决数字图像系统和真实世界在亮度动态范围上存在巨大差距的问题，HDR的流媒体服务已经成为未来人们追求更高的视听享受的选择，在摄影、视频监控、真实感渲染等领域有广泛应用。本文对基于深度学习的HDR重建进行了研究，提出了一种基于反馈机制和注意力机制的HDR重建方法。首先，将时间上连续，循环曝光的三张图像作为网络的输入，然后，通过引入注意力模块，生成注意力图像，对获取的特征进行自适应的加权，以优化网络的特征提取和减少鬼影现象的出现。同时，将反馈机制引入到网络中，进一步提高特征信息的利用率，优化网络在特征融合和重建方面的性能。最后，在L1损失函数的基础上，考虑了色彩相似度损失函数和VGG损失函数，以增强重建后HDR图像的色彩表现及高频细节。实验结果表明，提出的基于反馈机制的注意力网络的HDR重建方法，不仅可获得更好的主观和客观重建质量，而且优于目前存在的主流算法。

• 单位
  上海大学; 通信与信息工程学院