基于改进变分自编码器的多物理域多模态信息融合方法研究

作者：符晓明

来源：计量与测试技术, 2019, 46(09): 53-55.

DOI：10.15988/j.cnki.1004-6941.2019.9.019

• 变分自编码器
• 信息融合

多物理域多模态信息融合具有复杂、高维度、计算量大、鲁棒性差、异构数据处理难的特点,传统基于变分自编码器方法,由于采用单一的信息通道,缺乏对不同模态不同时频域空间信息交换,忽略了不同尺度的特征融合,造成生成结果质量较差。本文在变分自编码器的基础之上,加强了变分自编码器的信息流向,提出基于改进变分自编码器的多物理域多模态信息融合方法,使得融合结果更能反映不同物理域的观测真实性。同时对比了病态数据融合、彩色图像融合深度图像两种不同的多模态信息融合与传统算法效果,在频谱图的定性指标和PSNR/SSIM定量指标上,有明显提升。

• 单位
  江苏省计量科学研究院