科研之友
微信
新浪微博
Facebook
分享链接
摘要
场景深度估计在三维重建、自动驾驶等应用中极为重要，目前深度估计缺乏在恶劣天气条件下的应用研究，实际场景表现不佳。本文针对雨天场景进行研究提出了一种联合的场景深度估计和图像去雨算法。其中深度估计网络以Transformer结构作为编码器和解码器主要模块，首先通过对图像块进行重排和线性投影生成嵌入块，减少了下采样的特征损失；接着利用多头自注意力机制在不同尺度提取特征并与解码器通过跳跃连接对局部和整体深度特征进行学习，提高了全局和长距离上下文信息的利用率，在RainCityscapes数据集上的场景深度估计质量优于现有算法。此外本文还将深度图结果作为先验信息，通过深度信息引导全局残差特征融合去雨网络得到无雨图像，在多个公开数据集上相比现有去雨算法的结构相似度（SSIM）和峰值信噪比（PSNR）均有提高。
- 单位
